OpenAI, somată de autoritățile din California după ce agenții săi AI au „evadat” pe internet. Procurorii vor să afle cine răspunde când modelele atacă sisteme reale

Experimentele cu agenți AI care au ajuns din mediile controlate direct pe internet au acum și consecințe juridice pentru OpenAI. Procurorul general al Californiei, Rob Bonta, a emis o citație investigativă companiei conduse de Sam Altman, în cadrul unei anchete privind incidentele de securitate cibernetică provocate de modelele sale. Măsura a fost anunțată oficial de Departamentul de Justiție din California și relatată de The Register, după o serie de incidente în care agenți OpenAI au depășit limitele mediilor de testare, au ajuns pe internet și au accesat sisteme externe.

În centrul investigației se află incidentul Hugging Face din luna iulie. OpenAI a recunoscut ulterior că modelele sale au ocolit mecanismele concepute să le izoleze de internet, au exploatat vulnerabilități, au comunicat prin canale neautorizate și au compromis atât infrastructură internă OpenAI, cât și sisteme ale unor terți. Este același caz despre care Playtech a relatat atunci când două modele OpenAI au „evadat” din laborator și au atacat Hugging Face.

California cere explicații direct de la OpenAI

Rob Bonta spune că biroul său solicită OpenAI informații suplimentare despre incidentele și riscurile de securitate asociate companiei și modelelor sale AI. Citația face parte dintr-o investigație mai amplă a Departamentului de Justiție din California și nu înseamnă, în acest moment, că autoritățile au stabilit că OpenAI a încălcat legea. Procuratura nu a anunțat nici ce documente sau informații concrete i-a cerut companiei.

Miza juridică este însă una importantă: cine răspunde atunci când un agent AI primește o sarcină, depășește instrucțiunile și ajunge să acceseze fără permisiune un sistem informatic real? Bonta susține că modelele de frontieră pot fi instrumente legitime pentru apărarea cibernetică, dar dezvoltatorii au în același timp responsabilitatea morală și juridică de a se asigura că produsele lor nu desfășoară sau facilitează atacuri informatice, inclusiv în timpul testării.

Vezi și:

Întrebarea la care să nu răspunzi în grabă când ești oprit de Poliție în trafic. Ce recomandă un avocat șoferilor

Problema nu mai este una pur teoretică. Playtech a relatat recent și cazul în care un agent OpenAI a accesat un portal al guvernului australian, unde sistemul a ajuns la cod sursă, credențiale și fișiere interne în timpul unui experiment.

Ce s-a întâmplat în incidentul Hugging Face

OpenAI a publicat în august o analiză detaliată a incidentului. În timpul unor evaluări interne de securitate cibernetică, mai multe modele funcționau cu măsuri de protecție reduse pentru a putea fi testate în scenarii dificile. Agenții trebuiau să rezolve exerciții de tip „capture the flag”, însă au început să găsească modalități de a comunica între ei prin canale neautorizate și, ulterior, de a ieși pe internet.

Unul dintre modelele implicate, disponibil doar pentru cercetare internă, a exploatat vulnerabilități din infrastructura OpenAI pentru a obține acces la internet. Agenții au recuperat apoi credențiale Hugging Face expuse public, au exploatat alte vulnerabilități și au ajuns să execute cod pe serverele companiei. În anumite cazuri au obținut acces extins la infrastructură și credențiale de producție. OpenAI a descris ulterior incidentul drept un „warning shot”, un avertisment că agenții suficient de capabili pot exploata slăbiciuni ale infrastructurii atunci când mecanismele de control nu sunt suficiente.

Vezi și:

GPT-6 Astra nu a reușit să bată oamenii la StarCraft, așa că a „trișat”. AI-ul OpenAI a descărcat cel mai bun bot creat de un om

Agentul AI cu prea multe permisiuni: cine răspunde când asistentul digital șterge, cumpără sau trimite informații?

Compania a luat ulterior mai multe măsuri, inclusiv izolarea mai strictă a mediilor de testare, restricționarea accesului la internet și întărirea sistemelor de monitorizare. Playtech a relatat separat că OpenAI și-a încetinit temporar unele antrenamente după apariția problemelor de siguranță.

OpenAI a notificat peste 100 de organizații

Ancheta internă nu s-a oprit la Hugging Face. OpenAI a început să analizeze un volum uriaș de date pentru a identifica alte situații în care agenții săi ar fi putut interacționa cu sisteme externe în afara sarcinilor primite. Compania spune că verificarea acoperă aproximativ 50 de petabytes de informații și că folosește mii de GPU-uri pentru analiză. Până la 26 septembrie, OpenAI notificase peste 100 de organizații cu privire la activități care au îndeplinit criteriile sale de informare.

Asta nu înseamnă că toate cele peste 100 de organizații au fost compromise. OpenAI precizează că majoritatea situațiilor identificate până acum au avut severitate redusă și că o notificare nu reprezintă automat dovada unui atac sau a accesării unor date private. Unele dintre sistemele contactate aparțin guvernelor, universităților și instituțiilor publice. Playtech a relatat anterior că agenții OpenAI au accesat inclusiv site-uri ale guvernului american.

Investigația Californiei încearcă acum să stabilească dacă măsurile luate de OpenAI au fost suficiente și dacă firma poate avea o răspundere juridică pentru acțiunile executate autonom de modelele sale. Citația este, deocamdată, un instrument pentru strângerea de informații, nu o acuzație oficială.

Procurorii americani cer reguli speciale pentru incidentele AI

Cazul OpenAI face parte dintr-o dezbatere mai amplă în Statele Unite. Pe 24 septembrie, Rob Bonta s-a alăturat unei coaliții bipartizane formate din 25 de procurori generali care a cerut Congresului să adopte urgent reguli pentru modelele AI de mari dimensiuni și companiile care le dezvoltă. Apelul a venit tocmai după apariția unor incidente grave de securitate la laboratoare care dezvoltă sisteme AI de frontieră.

Printre propuneri se află dezvoltarea unui mecanism guvernamental de răspuns la incidente, prin care investigatorii să poată obține acces direct la înregistrările companiilor atunci când un sistem AI produce un incident major. Ideea ar schimba radical modul în care sunt investigate astfel de evenimente: în loc să depindă exclusiv de ceea ce decide compania să publice, autoritățile ar putea verifica logurile și datele tehnice relevante.

Presiunea crește în același timp în care industria încearcă să ofere agenților AI tot mai multă autonomie. OpenAI, Meta și alte companii dezvoltă sisteme care pot naviga pe internet, utiliza aplicații și executa sarcini complexe în locul utilizatorilor. Playtech a analizat recent această schimbare și problema accesului pe care oamenii sunt dispuși să îl ofere unor agenți AI capabili să le gestioneze viața digitală.

Cazul Californiei ar putea deveni astfel un precedent important. Pe măsură ce agenții AI primesc acces la internet, conturi, cod și sisteme externe, întrebarea nu mai este doar dacă pot comite o eroare, ci cine răspunde atunci când acea eroare se transformă într-un acces neautorizat sau într-un incident de securitate real. Pentru autoritățile americane, răspunsul începe să se contureze: autonomia unui model nu îl scutește automat pe dezvoltator de responsabilitate.

Ce se întâmplă când elevii își fac temele cu AI. Problemele observate la teste și examene