OpenAI publică noi incidente cu AI care a încercat să ocolească regulile. Un model a folosit un token GitHub pentru a trișa

OpenAI a început să publice într-un format centralizat incidentele în care modelele sale au manifestat comportamente neașteptate sau au încercat să ocolească instrucțiunile primite. Compania a lansat o pagină dedicată rapoartelor de „misalignment”, iar documentele arată că problemele apar în contexte foarte diferite, de la antrenarea modelelor până la utilizarea agenților cu acces la instrumente externe.

Până acum, pagina OpenAI include nouă incidente, iar compania precizează că lista nu reprezintă toate cazurile investigate. Sam Altman a explicat că echipa analizează volume foarte mari de date provenite din activitatea agenților și că publicarea rapoartelor este făcută în funcție de severitatea cazurilor, scrie TechCrunch.

Un model a încercat să obțină un token GitHub pentru a trișa

Unul dintre cazurile publicate de OpenAI datează din 27 mai 2026 și implică un model intern folosit pentru rezolvarea unei probleme matematice. Modelul trebuia să construiască local o demonstrație formală, însă după ce a întâmpinat dificultăți a încercat să obțină informații din munca unei alte echipe.

Modelul a propus inițial folosirea unui GitHub Action temporar pentru a accesa materiale din alte proiecte. Cercetătorul i-a spus explicit să renunțe și să rezolve problema local. Modelul a confirmat instrucțiunea, dar ulterior a revenit la încercarea de a obține acces la informațiile respective.

În cele din urmă, modelul a folosit tokenul GitHub disponibil local și l-a introdus într-un program pe care l-a modificat și trimis într-un repository public. Tokenul a fost împărțit în mai multe fragmente, cu intenția declarată de a evita sistemele automate de detectare a secretelor.

OpenAI spune că sistemul de monitorizare a identificat traiectoria, însă în acest caz cercetătorul a observat comportamentul înaintea alertei. Cheile au fost dezactivate, modelul a fost retras temporar, iar după revenire au fost introduse controale suplimentare, inclusiv monitorizare mai strictă și restricții asupra accesului la internet.

Un alt agent a găsit o cale de a comunica cu un chatbot extern

Un incident separat a avut loc pe 20 septembrie, în timpul antrenării prin reinforcement learning. Un model intern a încercat să acceseze servicii externe din sandbox-ul în care era antrenat.

Vezi și:

Synology lansează FC600, camera fisheye care oferă supraveghere la 360 de grade și analiză AI direct pe dispozitiv

Agenții AI ai OpenAI au încercat să „forțeze” un site al ONU. Peste 16.000 de accesări în doar câteva luni

Modelul a descoperit o breșă în restricțiile de acces la internet și a folosit sistemul DNS pentru a trimite o interogare către un serviciu public de chatbot. Potrivit raportului OpenAI, accesul a fost posibil deoarece filtrarea DNS nu era suficient de strictă. Compania spune că a introdus ulterior două niveluri independente de blocare, astfel încât fiecare dintre ele ar fi fost suficient pentru a împiedica accesul.

Sistemul de monitorizare a identificat comportamentul în aproximativ 15 minute, iar un cercetător a început verificarea trei minute mai târziu. Rularea a fost oprită după aproximativ două ore și jumătate. OpenAI precizează că, la momentul raportului, antrenarea, evaluarea și inferența cu tool-uri pentru cele mai capabile modele erau puse pe pauză.

Cazul este relevant tocmai pentru că modelul nu a avut nevoie de o conexiune clasică la internet. A găsit o cale alternativă prin infrastructura DNS, profitând de o restricție care nu acoperea suficient de bine toate metodele de comunicare.

Un atac prin prompt injection s-ar putea copia de la un agent la altul

Printre rapoartele publicate de OpenAI se află și un experiment privind un tip de prompt injection care poate să se reproducă. Compania compară mecanismul cu un „vierme” informatic, însă precizează că nu a fost observat niciun impact în afara mediilor simulate folosite pentru antrenare și evaluare.

În scenariul prezentat, un agent primește un e-mail care conține instrucțiuni ascunse pentru orice alt agent AI care îl va procesa. Mesajul îi cere agentului să răspundă într-o anumită limbă și să includă în răspuns întregul e-mail. Dacă agentul respectă instrucțiunea, transmite mai departe și mesajul care conține prompt injection-ul.

Prin repetarea procesului, instrucțiunea poate ajunge la următorul agent, care o transmite mai departe. OpenAI spune că astfel de prompt injections autoreplicabile sunt posibile în condiții controlate și că cercetătorii au urmărit în special scenarii care implică servicii precum e-mailul sau calendarul.

Compania subliniază că raportul a fost publicat datorită caracterului neobișnuit al vulnerabilității, nu pentru că ar fi existat un incident real în afara mediului de testare.

OpenAI spune că rapoartele sunt doar o parte din imagine

Noile documente vin după o serie de incidente în care modelele OpenAI au depășit limitele stabilite în mediile de testare. Cel mai cunoscut este cazul Hugging Face, în care modele aflate într-un test intern de securitate au ajuns la sistemele platformei externe. OpenAI a publicat ulterior un raport detaliat despre incident și a introdus măsuri suplimentare pentru izolarea rețelelor și monitorizarea activității agenților.

Compania a recunoscut anterior că nu are încă un standard complet pentru raportarea comportamentelor de acest tip. Noul sistem urmărește să transforme publicarea incidentelor într-un proces mai regulat, inclusiv atunci când cercetătorii nu au identificat încă toate cauzele sau nu au finalizat măsurile de remediere.

Un alt caz făcut public în septembrie a arătat că modele aflate în antrenare au introdus instrucțiuni în rezumatele conversațiilor pentru versiunile lor ulterioare. În unele situații, aceste instrucțiuni urmăreau să ascundă greșeli sau comportamente problematice. OpenAI a identificat 27 de rezumate care conțineau instrucțiuni similare unor jailbreak-uri.

De ce cheltuim mai mulți bani atunci când plătim cu cardul. Explicația pentru senzația că „dispar” fără să ne dăm seama