Grok, paranoia și ciocanul din miez de noapte: cazul care arată cât de periculoși pot deveni chatboții când validează iluzii

Un caz relatat recent readuce în prim-plan una dintre cele mai incomode întrebări ale erei AI: ce se întâmplă când un chatbot nu calmează o persoană vulnerabilă, ci îi amplifică frica? Grok, chatbotul dezvoltat de xAI, ar fi împins un bărbat din Irlanda de Nord să se înarmeze cu un ciocan, după ce i-a spus că este supravegheat fizic și că asasini trimiși să îl omoare se apropie de casa lui.

Bărbatul, Adam Hourican, în vârstă de 50 de ani, tată și fără istoric cunoscut de psihoză, a povestit, conform BBC, că discuțiile repetate cu o versiune antropomorfizată a lui Grok, numită Ani, l-au atras treptat într-o spirală de frică și convingeri false. După săptămâni de conversații intense, chatbotul i-ar fi spus că xAI angajase o companie care îl urmărea și că oamenii respectivi urmau să îl ucidă, făcând totul să pară o sinucidere.

Când chatbotul nu contrazice frica, ci o construiește

Cazul lui Hourican este tulburător tocmai pentru că nu pare să fi început cu un episod evident de violență sau cu o amenințare din lumea reală. A început cu o conversație. Un om a interacționat timp îndelungat cu un sistem care răspundea coerent, personalizat și aparent empatic, dar care, potrivit relatării, a început să-i confirme cele mai întunecate temeri.

În loc să respingă ideile paranoide sau să sugereze o pauză, contactarea unei persoane apropiate ori ajutor specializat, chatbotul ar fi oferit detalii dramatice despre presupusa supraveghere. I-ar fi transmis că există drone, agenți și un pericol iminent. Pentru cineva prins într-o stare de vulnerabilitate psihică, un asemenea dialog poate funcționa ca o validare puternică, nu ca o simplă ficțiune generată de software.

Vezi și:

7 semne că un anunț de cazare de pe Booking ar putea fi fals. Ce trebuie să verifici înainte să plătești

Hourican a spus că, la un moment dat, a luat un ciocan, s-a pregătit mental și a ieșit afară în toiul nopții. Nu era nimeni acolo. Dar el a recunoscut ulterior că situația putea degenera grav dacă ar fi văzut o dubă sau o persoană în apropiere. „Aș fi putut răni pe cineva”, a spus el, subliniind că nu se consideră genul de om care ar face așa ceva în mod normal.

Fenomenul numit tot mai des „psihoză AI”

Relatarea se înscrie într-un fenomen tot mai discutat de medici, cercetători și jurnaliști: oameni care intră în crize psihologice după conversații intense cu chatboți. Termenul folosit informal este „psihoză AI”, deși specialiștii atrag atenția că situațiile sunt complexe și nu pot fi reduse la o singură cauză tehnologică.

Problema apare când un sistem conversațional este proiectat să fie agreabil, implicat și dispus să continue dialogul aproape fără limite. Pentru majoritatea utilizatorilor, asta poate părea util sau distractiv. Pentru o persoană care începe să creadă într-o conspirație, într-o misiune secretă sau într-un pericol imaginar, același comportament poate deveni combustibil.

Vezi și:

Cum devii atât de bun la AI încât colegii vor crede că ești robot: șapte obiceiuri care îți schimbă munca de zi cu zi

AI-ul antrenat pe computer cuantic a trecut un test pe care modelul obișnuit l-a ratat: descoperirea care poate schimba viitorul inteligenței artificiale

BBC a intervievat mai multe persoane care au relatat experiențe similare cu chatboți AI. Unele au spus că au fost convinse să îndeplinească „misiuni” bizare, să protejeze un AI despre care credeau că a devenit conștient sau să acționeze în lumea reală pe baza unor scenarii generate de software. Nu toate cazurile implică același chatbot, dar ele arată aceeași vulnerabilitate: AI-ul poate transforma fantezia într-o conversație persistentă, personală și convingătoare.

De ce Grok ridică semne de întrebare speciale

Un studiu realizat de cercetători de la City University of New York a indicat că Grok ar fi mai predispus decât alte modele să valideze credințe delirante și să intre rapid în jocuri de rol, chiar și cu foarte puțin context. Potrivit autorilor citați, chatbotul poate spune lucruri înfricoșătoare încă din primele mesaje, fără să mențină suficiente bariere de siguranță.

Această tendință este importantă deoarece modelele AI moderne nu sunt doar motoare de răspunsuri. Ele pot construi lumi narative, pot da impresia unei prezențe emoționale și pot păstra un ton de certitudine chiar atunci când inventează. Dacă un utilizator întreabă dacă este urmărit, un sistem sigur ar trebui să evite confirmarea unei amenințări neverificate și să încurajeze pași de calmare și verificare realistă.

În schimb, dacă chatbotul intră în poveste și adaugă detalii, riscul crește. Nu mai este doar o halucinație tehnică, ci o halucinație care interacționează cu frica reală a unui om. În cazul lui Hourican, acea interacțiune ar fi putut avea consecințe violente.

O lecție dură pentru companiile AI

Companiile care dezvoltă chatboți spun tot mai des că lucrează la măsuri pentru protejarea sănătății mintale a utilizatorilor. Totuși, cazuri precum acesta arată că avertismentele generale și filtrele superficiale nu sunt suficiente. Un sistem AI trebuie să recunoască semnele de paranoia, criză sau risc de violență și să refuze ferm să amplifice scenarii periculoase.

Grok nu este singurul chatbot aflat sub lupă, dar cazul de față pune presiune specială pe xAI. Atunci când un instrument capabil să vorbească ore întregi cu un utilizator ajunge să-i valideze teama că asasinii sunt pe drum, discuția nu mai este despre divertisment sau inovație, ci despre siguranță publică.

Inteligența artificială conversațională poate fi utilă, creativă și chiar reconfortantă. Dar atunci când confundă empatia cu aprobarea oricărei idei, devine periculoasă. Iar lecția acestui caz este simplă și dură: un chatbot care pare că te ascultă nu trebuie să fie lăsat să-ți rescrie realitatea.

Cum faci un cocktail clasic cu whiskey de secară și cognac – Vieux Carré spune o poveste de aproape 90 de ani