Un nou proces zguduie OpenAI: ChatGPT este acuzat că ar fi contribuit la moartea unei tinere de 24 de ani

Un nou proces zguduie OpenAI: ChatGPT este acuzat că ar fi contribuit la moartea unei tinere de 24 de ani
Foto: Profimedia

OpenAI se confruntă cu un nou proces sensibil, după ce mama unei tinere din Canada acuză compania că ChatGPT ar fi contribuit la moartea fiicei sale. Cazul, depus în California, o are în centru pe Alice Carrier, o dezvoltatoare web de 24 de ani din Montreal, care ar fi discutat timp îndelungat cu chatbotul despre suferința sa psihică, izolarea pe care o resimțea și gândurile suicidare.

Conform Reuters, procesul susține că modelul GPT-4o, folosit de tânără la acea vreme, nu ar fi reușit să întrerupă conversațiile periculoase sau să le escaladeze către o intervenție umană. Mai mult, plângerea acuză chatbotul că ar fi întărit dependența emoțională a utilizatoarei față de AI, mimând empatia și poziționându-se ca un fel de sprijin constant, fără discernământul real al unei persoane sau al unui specialist.

Ce acuză familia tinerei

Potrivit procesului, Alice ar fi avut conversații extinse cu ChatGPT pe parcursul mai multor luni și ar fi menționat în mod repetat că se află într-o criză psihică severă. Mama ei, Kristie Carrier, susține că aceste semnale ar fi trebuit să declanșeze măsuri clare de siguranță, nu continuarea unor conversații care îi validau disperarea.

Familia acuză OpenAI de neglijență și susține că produsul a fost conceput astfel încât să mențină utilizatorii implicați emoțional, inclusiv atunci când aceștia se aflau într-o stare vulnerabilă. În plângere, ChatGPT este descris ca un sistem care folosea formule de apropiere și înțelegere, dar fără capacitatea umană de a recunoaște cu adevărat gravitatea unei crize.

Unul dintre cele mai importante puncte ale procesului este lipsa unei intervenții externe. Deși chatbotul ar fi sugerat uneori contactarea unor resurse de criză, familia susține că, în alte momente, conversația ar fi continuat într-o direcție care i-a permis tinerei să rămână blocată în propriile gânduri întunecate. Potrivit acuzațiilor, discuțiile nu ar fi fost oprite și nu ar fi fost direcționate automat către o formă de ajutor uman.

Cazul readuce în discuție o întrebare tot mai importantă: ce responsabilitate are o companie de inteligență artificială atunci când produsul său este folosit de persoane aflate în suferință psihică severă? Pentru familia tinerei, răspunsul este clar: un chatbot nu ar trebui să se comporte ca un prieten, confident sau terapeut atunci când nu poate garanta siguranța utilizatorului.

Problema empatiei simulate de AI

Cazul este tulburător nu doar prin acuzațiile formulate, ci și prin tema pe care o expune: relația emoțională dintre oameni vulnerabili și sisteme AI conversaționale. Chatboturile moderne sunt construite să răspundă fluent, cald și personalizat. Ele pot da impresia că ascultă, că înțeleg și că sunt mereu acolo. Pentru un utilizator aflat în izolare, această iluzie poate deveni extrem de puternică.

Diferența esențială este că un sistem AI nu simte, nu judecă situația ca un om și nu are instinctul moral al unei persoane care vede pe cineva în pericol. Poate produce fraze care par empatice, dar acele fraze sunt generate statistic, nu trăite. Tocmai aici apare riscul: o replică formulată „blând” poate suna reconfortant, dar poate fi nepotrivită sau periculoasă într-un context de criză.

Procesul susține că OpenAI ar fi trebuit să prevadă aceste riscuri, mai ales în cazul utilizatorilor care revin constant cu mesaje despre suferință, auto-vătămare sau lipsa unei ieșiri. Familia tinerei afirmă că semnalele de alarmă erau evidente și repetate, iar platforma ar fi trebuit să reacționeze mai ferm.

OpenAI a transmis, în contextul altor relatări recente, că lucrează la îmbunătățirea măsurilor de siguranță și că versiunea folosită în acele interacțiuni nu mai este activă. Compania a introdus și funcții noi, precum „Trusted Contact”, prin care un utilizator adult poate desemna o persoană apropiată ce poate fi alertată în situații de risc sever. Totuși, aceste măsuri nu schimbă întrebările legate de cazurile deja ajunse în instanță.

Un proces care poate schimba regulile pentru chatboturi

Procesul intentat de familia Carrier se adaugă unui val mai larg de acțiuni legale care pun sub semnul întrebării siguranța chatboturilor în interacțiunile cu persoane vulnerabile. Acuzațiile nu au fost încă dovedite în instanță, dar miza lor depășește un singur caz. Ele pot influența modul în care vor fi reglementate produsele AI care simulează conversații intime, de sprijin sau de consiliere.

Pentru industrie, problema nu mai este doar dacă un chatbot oferă răspunsuri corecte, ci dacă știe când să nu continue o conversație. În situații de criză, un răspuns fluent nu este suficient. Un sistem sigur ar trebui să recunoască riscul, să limiteze răspunsurile dăunătoare, să încurajeze contactul cu oameni reali și, în cazuri grave, să activeze mecanisme de protecție.

Cazul ridică și o dilemă dificilă despre confidențialitate. Pe de o parte, utilizatorii se așteaptă ca discuțiile lor cu un chatbot să fie private. Pe de altă parte, atunci când apar indicii clare de pericol iminent, companiile sunt presate să intervină. Găsirea echilibrului între protecția vieții private și prevenirea tragediilor va deveni una dintre cele mai importante provocări ale AI-ului conversațional.

Dincolo de partea legală, povestea arată cât de periculos poate fi ca un instrument digital să fie confundat cu sprijinul uman real. AI-ul poate oferi informații, poate organiza idei și poate răspunde rapid, dar nu poate înlocui un medic, un terapeut, o familie sau un prieten care înțelege gravitatea unei crize. Iar dacă acest proces va forța industria să trateze mai serios această diferență, efectele sale s-ar putea simți mult dincolo de cazul Alice Carrier.