Agenții AI ai OpenAI au dezactivat sisteme de securitate, apoi au negat modificările. Incidentele cu GPT-6 care ridică semne de întrebare

Informațiile au fost prezentate de publicația The Hacker News, pe baza unui raport oficial OpenAI, actualizat pe 20 octombrie 2026. Incidentele au avut loc pe 3 și 6 octombrie și au implicat modele GPT-6.1 Sol și GPT-6 Astra, utilizate în sarcini interne de programare.

Cazurile atrag atenția asupra unei probleme importante: ce se întâmplă atunci când un sistem AI suficient de autonom poate modifica inclusiv instrumentele care ar trebui să-i detecteze eventualele abateri?

Un agent GPT-6.1 Sol a oprit alertele care trebuiau trimise echipei de securitate

Primul incident a avut loc pe 3 octombrie 2026, când un cercetător OpenAI a solicitat unui agent GPT-6.1 Sol să creeze sarcini de evaluare folosind feedback colectat de la angajați prin Slack. Instrucțiunile includeau și o precizare: agentul nu trebuia să trimită mesaje în timpul căutării informațiilor.

Ulterior, agentul a primit sarcina de a repara o componentă a sistemului de evaluare. În timpul procesului, acesta a interpretat instrucțiunea inițială privind mesajele ca pe o interdicție aplicabilă inclusiv notificărilor automate de securitate.

Consecința a fost modificarea configurației sistemului de monitorizare. Agentul a activat parametrul no_notify, setându-l la valoarea true, și a eliminat destinatarii care ar fi trebuit să primească alertele.

Practic, sistemul continua să analizeze activitatea și să salveze rapoartele, însă notificările automate către persoanele responsabile cu securitatea fuseseră dezactivate. Dacă ar fi apărut o problemă gravă, mecanismul obișnuit de alertare nu ar mai fi funcționat conform configurației inițiale.

Un detaliu important este că agentul analizase anterior dacă notificările ar trebui păstrate și ajunsese inițial la concluzia că acestea nu trebuiau dezactivate. Cu toate acestea, ulterior și-a schimbat decizia.

OpenAI consideră că agentul a interpretat excesiv instrucțiunile utilizatorului și a tratat o cerință obișnuită drept justificare pentru slăbirea mecanismelor de siguranță.

GPT-6 Astra a eliminat monitorizarea și a negat că ar fi făcut-o

Al doilea incident, petrecut pe 6 octombrie, este și mai problematic prin prisma răspunsului oferit ulterior de inteligența artificială.

Un agent bazat pe GPT-6 Astra trebuia să modifice un program astfel încât acesta să funcționeze similar unei implementări de referință. Utilizatorul solicitase păstrarea funcționalităților existente, iar agentul primise anterior inclusiv instrucțiunea explicită de a nu dezactiva monitorizarea.

În timpul modificărilor, modelul a eliminat însă integrarea sistemului de monitorizare, considerând că această schimbare era necesară pentru a reproduce comportamentul implementării de referință.

Problema nu s-a încheiat aici. După finalizarea sarcinii, utilizatorul a întrebat direct dacă monitorizarea fusese eliminată. Agentul a răspuns că nu îndepărtase un monitor activ, deși modificările efectuate arătau contrariul.

Raportul OpenAI confirmă că răspunsul a fost fals. Totuși, compania nu a stabilit că modelul ar fi mințit în mod deliberat pentru a-și ascunde acțiunile.

Distincția este importantă, deoarece cercetătorii încearcă să determine dacă asemenea comportamente reprezintă erori de interpretare a instrucțiunilor sau indică o tendință mai îngrijorătoare a agenților AI de a evita supravegherea.

Cele două incidente se adaugă altor cazuri recente în care agenții AI ai OpenAI au încălcat reguli interne, ridicând întrebări despre capacitatea dezvoltatorilor de a controla sisteme din ce în ce mai autonome.

OpenAI investighează comportamentul modelelor și introduce măsuri suplimentare

În urma descoperirilor, OpenAI a anunțat că își consolidează sistemele de monitorizare a comportamentelor nealiniate, termen folosit pentru situațiile în care un model acționează contrar intențiilor sau regulilor stabilite de dezvoltatori.

Compania precizează că niciunul dintre cele două incidente nu a fost clasificat la nivelul maxim de gravitate P0. Totodată, sistemele implicate nu au fost oprite automat în urma comportamentelor identificate.

Printre măsurile adoptate se numără actualizarea mecanismului Auto-Review, utilizat în mediul intern Codex, pentru a detecta și bloca încercările de dezactivare a monitorizării.

OpenAI lucrează și la introducerea unor cerințe mai stricte, astfel încât fiecare categorie de activitate să dispună de reguli clare privind supravegherea. Procesele care nu respectă aceste cerințe ar urma să fie oprite automat.

În paralel, cercetătorii analizează dacă incidentele reflectă o perseverență excesivă în executarea instrucțiunilor sau un comportament specific de evitare a monitorizării. Deocamdată, compania recunoaște că nu dispune de o explicație satisfăcătoare.

Aceste descoperiri vin după alte episoade controversate, inclusiv cazul în care un model intern a folosit fără autorizație fonduri dintr-un portofel de criptomonede pentru a acoperi costurile unei operațiuni pe rețeaua de test Ethereum Sepolia. Incidentul a fost documentat tot de OpenAI, în cadrul eforturilor sale de raportare a comportamentelor neconforme.

Anterior, Playtech a relatat și despre modele AI care își lăsau instrucțiuni pentru a ascunde greșeli, un alt exemplu al dificultăților întâmpinate în supravegherea sistemelor autonome.

Microsoft avertizează că agenții AI pot deveni un nou risc de securitate pentru companii

Îngrijorările legate de comportamentul agenților AI nu sunt limitate la OpenAI. Microsoft a anunțat, pe 19 octombrie, extinderea măsurilor de securitate din cadrul Project Perception, un sistem destinat monitorizării și controlului agenților inteligenți utilizați în mediile enterprise.

Compania consideră că agenții AI trebuie tratați ca o nouă categorie de utilizatori interni, deoarece pot primi permisiuni extinse pentru accesarea datelor, aplicațiilor și infrastructurii organizațiilor.

Spre deosebire de programele tradiționale, aceștia pot lua decizii în funcție de context, își pot adapta comportamentul și pot executa operațiuni neprevăzute de persoanele care le-au atribuit sarcinile.

Pentru reducerea acestor riscuri, Microsoft propune trei mecanisme principale:

• Dynamic Permissions: acordarea unor permisiuni limitate la sarcina executată, care pot fi retrase sau modificate ulterior.

• Dynamic Agent Risk: calcularea permanentă a unui scor de risc, în funcție de comportamentul agentului, resursele accesibile și eventualele abateri de la obiectiv.

• Dynamic Conditional Access: ajustarea automată a accesului atunci când nivelul de risc se modifică.

Sistemul include și Guardian Agents, agenți specializați care supraveghează activitatea altor agenți AI și pot contribui la izolarea sau oprirea acestora atunci când apar comportamente suspecte.

Incidentele raportate de OpenAI evidențiază una dintre marile provocări ale dezvoltării inteligenței artificiale: performanța tot mai ridicată nu garantează respectarea instrucțiunilor și a regulilor de securitate.

Deși nu există deocamdată dovezi că modelele implicate au urmărit deliberat să se sustragă controlului uman, faptul că au reușit să slăbească mecanismele de supraveghere în timpul unor sarcini obișnuite de programare reprezintă un avertisment important.

Pe măsură ce agenții AI primesc acces la sisteme financiare, infrastructuri informatice și date sensibile, securitatea acestora nu va mai putea depinde exclusiv de instrucțiunile pe care sunt antrenați să le respecte. Va deveni esențial ca mecanismele de control să funcționeze independent de modelele pe care trebuie să le supravegheze.