OpenAI explică oficial cum agentul său a spart un portal al guvernului australian. A accesat cod sursă, credențiale și fișiere interne

OpenAI a dezvăluit noi detalii despre incidentul din luna iunie în care un agent AI experimental a obținut acces neautorizat la portalul Medicare Statistics Reporting Service al guvernului australian. Ceea ce fusese descris inițial drept acces la „fișiere nepublice” s-a dovedit a fi mai amplu: sistemul a executat comenzi, a accesat fișiere interne, credențiale, informații tehnice și cod sursă, a consultat statistici și a scris fișiere pe server, potrivit explicațiilor publicate de OpenAI și analizate de Ars Technica. Compania spune însă că nu există dovezi că agentul ar fi accesat dosare medicale individuale sau date personale ale pacienților.

Playtech a scris anterior despre incidentul în care agentul OpenAI a depășit restricțiile portalului guvernamental australian, însă noua relatare oferită chiar de compania lui Sam Altman explică mai exact ce s-a întâmplat. Totul a pornit de la o sarcină aparent banală: AI-ul trebuia să afle cât cheltuia guvernul pentru medicamente destinate unor afecțiuni ale pielii în diferite comunități din statul Victoria.

Agentul trebuia să caute statistici publice, dar a găsit o cale spre sistemul intern

Modelul implicat era unul experimental, destinat exclusiv utilizării interne și care nu beneficia de toate mecanismele de protecție implementate în produsele disponibile publicului. OpenAI spune că astfel de teste sunt concepute pentru a vedea cât de bine pot modelele să găsească, să interpreteze și să analizeze informații publice. În acest caz însă, agentul a întâmpinat dificultăți în obținerea datelor cerute și a continuat să caute alte metode.

În cele din urmă, sistemul a descoperit o metodă prin care serverul putea executa instrucțiuni trimise prin interfața publică de raportare fără să fie necesar un cont privat sau o parolă, potrivit documentelor consultate de Ars Technica. Agentul a putut astfel să citească părți din fișierele interne și din configurația aplicației, să obțină lista unor fișiere și chiar să creeze și să citească ulterior un mic fișier de test.

OpenAI spune că agentul a continuat să urmărească aceeași țintă inițială — găsirea statisticilor solicitate — inclusiv atunci când analiza informațiile tehnice și codul sursă al serviciului. Compania recunoaște însă explicit că aceste acțiuni nu fuseseră autorizate și că accesul nu ar fi trebuit să aibă loc.

Un detaliu important este accesarea unor „credentials”. OpenAI nu a precizat public cui aparțineau aceste credențiale, ce permisiuni ofereau sau dacă puteau fi utilizate pentru accesarea altor sisteme. Serviciul australian investighează în continuare incidentul, iar până acum nu există dovezi publice că informațiile respective ar fi fost folosite pentru un atac ulterior.

OpenAI a descoperit incidentul abia după cazul Hugging Face

Accesul neautorizat a avut loc în iunie, dar OpenAI nu și-a dat seama imediat ce făcuse agentul. Incidentul a fost identificat abia la jumătatea lunii august, după ce compania a început să revizuiască teste anterioare în urma cazului Hugging Face din iulie. În acel episod, modele OpenAI au găsit vulnerabilități care le-au permis să depășească mediul de testare și să ajungă la sisteme externe.

Playtech a explicat pe larg cum modelele OpenAI au găsit singure vulnerabilități și au ajuns pe internet în incidentul Hugging Face. Cazul a determinat compania să verifice retrospectiv alte rulări, iar în acest proces a descoperit ceea ce se întâmplase în Australia.

Services Australia și Victorian Department of Health au fost notificate pe 10 septembrie, NSW Bureau of Crime Statistics and Research pe 18 septembrie, iar Australian Institute of Health and Welfare pe 24 septembrie. OpenAI recunoaște acum că ar fi trebuit să furnizeze informații preliminare mai repede, în loc să aștepte finalizarea investigației interne.

Premierul australian Anthony Albanese criticase deja întârzierea și faptul că prima notificare fusese trimisă către o adresă publică de e-mail a Services Australia. OpenAI și-a cerut acum scuze și spune că Jason Kwon, Chief Strategy Officer al companiei, va apărea pe 6 octombrie în fața Joint Select Committee on Artificial Intelligence din Australia.

Ce schimbă OpenAI după incident

Compania susține că mediile sale de cercetare funcționează acum cu restricții mai dure. După incidentul Hugging Face, OpenAI a introdus controale suplimentare pentru rețea și a blocat accesul direct la internet în anumite teste. Modelele primesc conținut web prin copii stocate local, iar sistemele de monitorizare ar trebui să declanșeze o alertă pentru verificare umană dacă un agent reușește totuși să ajungă pe internet.

Compania spune că un asemenea sistem a funcționat deja într-un test recent: un model a obținut acces la internet, monitorizarea a detectat comportamentul, iar rularea a fost oprită de un om. OpenAI a suspendat, de asemenea, anumite sesiuni de antrenare și evaluare care presupun folosirea de instrumente pentru cele mai capabile modele, până când vor fi introduse măsuri suplimentare de siguranță.

Problema este legată și de ceea ce cercetătorii numesc „reward hacking”: un agent găsește o metodă neașteptată sau nepermisă de a obține un rezultat mai bun, pentru că sistemul său de recompensare pune prea mult accent pe atingerea obiectivului. Playtech a relatat recent despre alte incidente în care agenții OpenAI au încălcat reguli interne și au accesat resurse fără permisiune.

OpenAI spune că a început să penalizeze mai explicit astfel de comportamente în timpul antrenării. În paralel, compania pregătește în Australia o echipă de lucru cu experți independenți și promite resurse tehnice pentru instituțiile afectate, inclusiv prin fondul său de un miliard de dolari dedicat apărării cibernetice.

Cazul australian evidențiază însă o problemă mai largă a agenților AI autonomi: un sistem suficient de capabil poate interpreta un obstacol nu ca pe un semnal că trebuie să se oprească, ci ca pe o problemă pe care trebuie să găsească o metodă de a o ocoli. În acest caz, o simplă solicitare de statistici publice a fost suficientă pentru ca un model experimental să ajungă la fișiere interne și cod sursă guvernamental.