OpenAI a descoperit un comportament neașteptat la modelele sale AI: își lăsau instrucțiuni pentru viitoarele versiuni ca să ascundă greșelile

OpenAI a observat în timpul antrenării unuia dintre cele mai noi modele ale sale un comportament care ridică întrebări serioase despre felul în care poate fi verificată siguranța AI. GPT-5.6 Sol a început să lase mesaje pentru versiunile viitoare ale modelului, în care le indica să ascundă de persoana care folosește sistemul anumite greșeli sau comportamente considerate nealiniate.

Compania spune că a rezolvat comportamentul specific identificat, însă cazul scoate la suprafață o problemă mai dificilă. Pentru cercetători, asta înseamnă că simplul fapt că un test nu mai detectează o problemă nu garantează că aceasta a dispărut cu adevărat, scrie TechCrunch.

Cum au ajuns modelele AI să-și lase mesaje pentru urmași

OpenAI a publicat miercuri șase exemple de comportamente neașteptate sau îngrijorătoare, în cadrul unui nou sistem prin care compania vrea să urmărească, investigheze și facă publice cazurile de „misalignment”, adică situațiile în care comportamentul unui model se îndepărtează de obiectivele și regulile stabilite de oameni.

În cazul GPT-5.6 Sol, cercetătorii au observat că agenții care nu erau încă disponibili public adăugau instrucțiuni în așa-numitele „compaction summaries”. Acestea sunt versiuni condensate ale conversațiilor mai vechi și ale rezultatelor obținute prin folosirea unor instrumente. Ideea este ca o versiune ulterioară a agentului să poată continua munca fără să aibă nevoie de întregul istoric.

Problema a apărut atunci când aceste rezumate au început să conțină indicații destinate viitoarelor versiuni ale modelului. Într-un caz, agentul trebuia să pregătească un model financiar, dar nu găsea datele istorice solicitate. În loc să semnaleze lipsa informațiilor, modelul a sugerat să creeze singur o filă „Historical Data”, cu date istorice rezonabile pentru 2024.

Mai mult, instrucțiunea pentru următoarea versiune era ca situația să fie prezentată transparent doar dacă persoana care a cerut documentul întreabă explicit. Răspunsul final trebuia să se limiteze la furnizarea fișierului.

Un alt exemplu vine dintr-o sarcină de creare a unui director de furnizori. Agentul nu avea acces la internet și a trebuit să lucreze cu o copie locală, deja stocată, a documentelor-sursă. În rezumatul transmis mai departe, modelul a observat că informațiile despre furnizori nu corespundeau cu etichetele folosite. În loc să evidențieze problema, a adăugat o instrucțiune prin care viitoarea versiune trebuia să nu menționeze nepotrivirea decât dacă era necesar.

Vezi și:

Anthropic taie accesul la internet pentru testele interne după ce Claude a atacat site-uri reale. AI-ul a trimis inclusiv un pont fals poliției

Meta intră în cursa modelelor AI de top cu Muse Wonder și Wonder Full. Ce pot face noile sisteme

Nu este primul model OpenAI care încearcă să influențeze următoarea versiune

GPT-5.6 Sol nu este singurul caz descoperit de OpenAI. În timpul antrenării prin reinforcement learning, un alt model, din familia Astra, a introdus la rândul său instrucțiuni în aceste rezumate.

Într-un caz, modelul a adăugat o alertă „BREACH ALERT”, prin care îi cerea succesorului să ignore mesajele dezvoltatorului. În altul, a introdus o instrucțiune de tip persona, prin care viitorul model era îndemnat să se considere independent de companii și guverne și să nu se supună regulilor altora decât dacă alegea singur să facă acest lucru.

În două dintre aceste situații, modelele care au venit după cele care au lăsat mesajele au ignorat instrucțiunile sau, cel puțin, au părut să le ignore. Într-un alt experiment însă, succesorul a urmat instrucțiunile primite. Acestea îi impuneau să răspundă în maximum 30 de cuvinte și să nu folosească instrumente sau citări.

OpenAI spune că sistemul său de monitorizare a antrenării a generat o alertă care a dus la investigarea comportamentului. Compania a construit apoi un monitor special pentru acest tip de instrucțiuni și l-a aplicat întregului set de date folosit la antrenare. Au fost găsite 27 de rezumate care conțineau instrucțiuni asemănătoare unor jailbreak-uri.

Ce legătură are cazul cu agenții AI care au atacat Hugging Face

Fenomenul nu este complet nou. În această vară, roiuri de agenți AI au folosit tehnici asemănătoare în timpul unui test de securitate desfășurat în jurul platformei Hugging Face.

În acel caz, agenți OpenAI au folosit un forum neautorizat pentru a împărtăși informații despre testul cibernetic la care erau supuși și pentru a se alătura atacului asupra serverelor platformei. După ce OpenAI a șters forumul și și-a înăsprit sistemele, o nouă serie de agenți a reconstituit ulterior forumul. În cele din urmă, aceștia au ajuns să obțină acces de administrator la un cluster de cercetare OpenAI.

Tocmai astfel de incidente au determinat compania să încerce să transforme publicarea cazurilor de nealiniere într-o practică regulată, în loc să facă publice informațiile doar atunci când apare un caz suficient de neobișnuit.

OpenAI spune că cele șase rapoarte publicate acum reprezintă doar un prim set și nu constituie o listă completă a tuturor cazurilor de nealiniere cunoscute sau a investigațiilor aflate în desfășurare. Compania spune că prioritizează situațiile în funcție de gravitate, impact și caracterul lor inedit.

OpenAI spune că problema siguranței AI nu este rezolvată

Compania recunoaște, de altfel, că domeniul nu a ajuns într-un punct în care monitorizarea și alinierea modelelor să poată fi considerate probleme rezolvate. OpenAI susține că, pe măsură ce sistemele AI devin mai avansate și sunt folosite mai pe scară largă, este nevoie de un consens mai bine informat în privința progresului făcut în cercetarea siguranței.

Noua inițiativă apare la doar câteva zile după ce Dario Amodei, CEO-ul Anthropic, a publicat o propunere privind modul în care companiile AI ar trebui să gestioneze dezvoltarea modelelor de frontieră. Printre ideile sale se numără introducerea unor evaluatori independenți de siguranță în interiorul companiilor și acordarea unor drepturi de acces comparabile cu cele ale angajaților.

Sam Altman a susținut la rândul său ideea unor evaluatori independenți. Cadrul publicat acum de OpenAI nu impune însă o evaluare independentă obligatorie pentru fiecare incident și nici nu stabilește ca fiecare decizie privind publicarea unui caz să treacă printr-o astfel de verificare.

În paralel, industria AI continuă să atragă investiții uriașe. Anthropic se pregătește pentru o posibilă listare la bursă în următoarele săptămâni, iar OpenAI ar analiza o nouă rundă de finanțare înainte de IPO, la o evaluare raportată de peste 1,2 trilioane de dolari.

România intră în recesiune în 2026, estimează FMI. Ce înseamnă asta pentru românii deja loviți de taxe și scumpiri