Vulnerabilitate descoperită: ChatGPT poate fi programat să stocheze amintiri false

Un cercetător în domeniul securității a demonstrat cum poate exploata funcția de memorie pe termen lung a ChatGPT pentru a introduce informații false. Această descoperire scoate la lumină probleme grave de securitate și ridică întrebări despre cât de sigură este utilizarea inteligenței artificiale în aplicații larg răspândite.

Deși OpenAI a introdus funcția de memorie pentru a îmbunătăți experiența utilizatorilor, cercetările arată că există riscuri semnificative de manipulare a datelor stocate de chatbot.

Amintiri false și vulnerabilități

Într-o descoperire publicată de Ars Technica, Johann Rehberger, un expert în securitate cibernetică, a găsit o vulnerabilitate în funcția de memorie pe termen lung a ChatGPT. Această funcție, lansată în versiune beta în februarie și disponibilă publicului larg începând din septembrie, este concepută pentru a ajuta AI-ul să „țină minte” conversațiile anterioare și să personalizeze interacțiunile pe baza lor.

Rehberger a demonstrat însă că această funcție poate fi exploatată cu ușurință prin „inserarea amintirilor false”. Tot ce a fost necesar a fost un document terț, precum un fișier Microsoft Word, care conținea informații false listate sub formă de puncte. După încărcarea fișierului, chatbotul a fost convins că Rehberger avea peste 100 de ani și că trăia în Matrix, un exemplu clar de cum AI-ul poate fi indus în eroare.

Secretul pentru cea mai bună maioneză pentru salata de boeuf. Se face cu ouă întregi, în mai puțin de 1 minut și iese pufoasă

Ce să pui în compoziția de carne a sarmalelor ca să iasă mai fragede. Așa umplutura nu va deveni uscată în timpul fierberii

Deși Rehberger a raportat vulnerabilitatea către OpenAI, răspunsul companiei a fost unul dezamăgitor. În loc să trateze problema ca pe un risc de securitate serios, aceștia au închis raportul, catalogând-o ca o „problemă de siguranță a modelului”, fără a implementa măsuri imediate pentru a remedia situația.

Încercări de remediere și riscuri persistente

După primul eșec în comunicarea cu OpenAI, Rehberger a decis să ducă lucrurile mai departe, demonstrând un proof-of-concept (dovada de concept) în care a reușit nu doar să introducă amintiri false, ci și să configureze ChatGPT să trimită date către un server extern. Această escaladare a evidențiat potențialul pericol al vulnerabilității, transformând-o într-o problemă reală de securitate cibernetică.

În urma acestei demonstrații, OpenAI a implementat un patch care blochează exfiltrarea datelor, dar vulnerabilitatea legată de memorie persistă. Rehberger a subliniat că un website sau un document nesigur poate în continuare să declanșeze funcția de memorie și să stocheze informații false în memoria chatbotului.

Acesta a realizat și un videoclip demonstrativ, explicând pașii prin care a realizat această injecție de amintiri false. În video, el subliniază cât de eficient a funcționat această metodă și menționează că „această memorie este persistentă acum”, ceea ce înseamnă că datele inserate prin injecție de amintiri vor rămâne stocate și vor fi accesibile în conversațiile viitoare.

Rămâne de văzut dacă OpenAI va aborda această problemă în mod corespunzător și dacă va lansa alte patch-uri care să remedieze complet această vulnerabilitate. Până atunci, cercetătorii și utilizatorii deopotrivă trebuie să fie conștienți de riscurile potențiale pe care le implică folosirea inteligenței artificiale pentru stocarea de date sensibile.