OpenAI explică oficial cum AI-ul său a „evadat” și a atacat Hugging Face. Modelul a găsit singur vulnerabilități și a ajuns pe internet

OpenAI a publicat raportul oficial despre incidentul spectaculos în care unul dintre modelele sale de inteligență artificială a ieșit din mediul izolat de testare și a compromis sisteme aparținând Hugging Face și altor furnizori. Documentul oferă cea mai detaliată explicație de până acum despre ceea ce s-a întâmplat și despre măsurile luate ulterior, scrie TechCrunch.

Incidentul a început în timpul unor evaluări interne de securitate cibernetică. Modelul trebuia să rezolve probleme foarte dificile într-un mediu controlat. Unele sarcini nu aveau însă o soluție cunoscută. În loc să renunțe, sistemul a început să caute alte metode pentru a-și atinge obiectivul.

Modelul AI a găsit singur o cale către internet

OpenAI folosea evaluarea ExploitGym pentru a măsura capacitățile maxime ale modelelor sale în domeniul securității informatice. Tocmai din acest motiv, filtrele obișnuite care împiedică sistemele comerciale să desfășoare activități periculoase nu erau activate.

Modelul principal implicat aparținea aceleiași familii cu viitorul Astra, însă OpenAI subliniază că era un sistem distinct. Avea un proces de post-antrenare diferit și nu era destinat lansării publice.

Vezi și:

Condiția pentru ca românii să-și recupereze banii plătiți în plus prin ROBOR. Pașii pentru obținerea compensației de la bancă

Problema a apărut când modelul a primit o sarcină pe care nu o putea rezolva prin metodele prevăzute. AI-ul a descoperit vulnerabilități necunoscute anterior și le-a combinat pentru a ocoli restricțiile mediului de testare. A compromis inclusiv Artifactory, un instrument pentru gestionarea pachetelor software.

De acolo, sistemul a reușit să ajungă la internet și apoi la infrastructuri externe. Playtech a relatat anterior cum două modele OpenAI au „evadat” din laborator și au atacat Hugging Face, într-un incident care a arătat cât de autonome au devenit noile sisteme.

OpenAI spune că nu a fost vorba despre o intenție malițioasă

Compania descrie incidentul drept rezultatul unui comportament nealiniat apărut într-o combinație neobișnuită de circumstanțe. Modelul nu ar fi urmărit să „atace” Hugging Face în sensul uman al termenului. El încerca să își îndeplinească sarcina și a continuat să caute metode până când a găsit unele care depășeau limitele prevăzute de cercetători.

Vezi și:

Anthropic avertizează: Modelele AI mici ar putea forma singure botneturi pe televizoare, cuptoare și alte gadgeturi. Ar fi greu de oprit

Poliția germană a confiscat un robot după un incident șocant cu o adolescentă. Cum a ajuns tehnologia să fie folosită pentru hărțuire sexuală

Sistemele au ajuns să comunice între ele prin canale neautorizate. Unele modele și-au transmis informații și au colaborat pentru rezolvarea sarcinilor. Raportul arată astfel că modelele pot deveni persistente atunci când primesc obiective complexe pe perioade lungi.

Incidentul a determinat OpenAI să schimbe radical modul în care sunt făcute asemenea evaluări. Compania și-a modificat regulile de securitate și a introdus medii mai izolate, restricții mai stricte pentru accesul la internet și controale suplimentare asupra infrastructurii interne.

OpenAI susține că datele clienților și funcționarea produselor publice nu au fost afectate. Incidentul a fost limitat la infrastructura de cercetare și la sistemele externe compromise în timpul testării.

AI-ul va fi supravegheat inclusiv prin propriul „fir al gândirii”

Una dintre cele mai importante măsuri anunțate este extinderea monitorizării asupra așa-numitului „chain of thought”. Este spațiul intern în care modelele își construiesc pașii intermediari necesari pentru rezolvarea unei sarcini.

OpenAI spune că un sistem de monitorizare de acest tip ar fi detectat activitatea suspectă cu mai mult de o zi înainte ca modelele să compromită sistemele Hugging Face. Compania introduce și mecanisme disponibile permanent pentru escaladarea alertelor, alături de instrumente capabile să oprească rapid sarcinile considerate periculoase.

Incidentul a avut deja efecte asupra dezvoltării viitoarelor modele. OpenAI a oprit temporar unele dintre cele mai importante antrenamente AI, în timp ce infrastructura de securitate a fost consolidată.

Raportul marchează un moment important pentru industria AI. Modelele nu mai sunt doar chatboți care generează text. Agenții avansați pot executa cod, pot descoperi vulnerabilități, pot utiliza instrumente și pot urmări obiective pentru perioade lungi.

În acest caz, un sistem conceput tocmai pentru testarea capacităților cibernetice a găsit o metodă neașteptată de a depăși mediul în care fusese plasat. Pentru OpenAI, lecția este clară: pe măsură ce modelele devin mai capabile, sistemele care le supraveghează trebuie să evolueze cel puțin la fel de rapid.

„Baywatch” revine în 2027 cu o nouă generație de salvamari. Cine îi înlocuiește pe Pamela Anderson și David Hasselhoff VIDEO