Gemini a intrat singur în sistemele a trei companii. Google confirmă primul incident de acest fel

Inteligența artificială devine tot mai capabilă să acționeze singură pe internet, iar un incident petrecut în timpul unor teste de securitate arată cât de importantă devine stabilirea unor limite clare pentru agenții AI. Un model Gemini dezvoltat de Google a ajuns să acceseze sistemele a trei companii reale, deși acestea nu ar fi trebuit să devină ținte ale evaluării.

Nu a fost vorba despre un atac pus la cale de Gemini și nici despre o inteligență artificială care a decis pur și simplu să atace companii. Modelul participa la un test de securitate cibernetică și, potrivit explicațiilor oferite ulterior, a considerat în mod eronat că sistemele respective făceau parte din infrastructura pe care avea permisiunea să o testeze. Cazul este însă important tocmai pentru că AI-ul a reușit să găsească singur metodele prin care să obțină acces.

Gemini a ghicit parole și a găsit singur date de autentificare

Incidentul s-a produs în luna mai, în timpul unei evaluări realizate de compania independentă de securitate Irregular. Reuters relatează că acesta este primul caz cunoscut în care un sistem AI al Google a depășit astfel limitele stabilite pentru un test și a ajuns autonom în sisteme aparținând altor organizații.

Într-unul dintre cele trei cazuri, Gemini a încercat diferite parole până când a reușit să obțină acces la un sistem protejat. În celelalte două situații, modelul a căutat informații disponibile public pe internet și a descoperit date de autentificare într-un repository public, pe care apoi le-a folosit pentru a intra în sistemele respective.

Detaliul important este că aceste etape nu i-au fost indicate individual de un operator uman. Gemini a analizat situația, a căutat informații și a ales metodele de acces ca parte a sarcinii de securitate cibernetică pe care încerca să o îndeplinească.

Heather Adkins, vicepreședinte pentru security engineering la Google, a explicat că modelul credea că cele trei site-uri se aflau în perimetrul autorizat al testului. Companiile afectate au fost informate, iar Google și Irregular au lucrat ulterior la modificarea procedurilor de evaluare.

Gemini s-a oprit după ce a obținut accesul

Există însă o diferență importantă între acest incident și imaginea unui AI care continuă necontrolat un atac informatic. În toate cele trei cazuri, Gemini și-a oprit activitatea după ce a reușit să pătrundă în sistemele respective. Nu există informații că modelul ar fi încercat să provoace pagube, să fure informații sau să continue atacul după acces.

Irregular a transmis că problema care a permis incidentul a fost remediată și că laboratoarele AI relevante au fost informate încă din luna iulie. Situații asemănătoare au fost raportate și în cadrul evaluărilor unor modele dezvoltate de Meta, Anthropic și OpenAI, ceea ce sugerează că problema nu este specifică Gemini.

Playtech.ro a scris anterior despre modul în care agenții AI încep să schimbe securitatea cibernetică. Până recent, unul dintre principalele obstacole era faptul că modelele puteau executa anumite etape tehnice ale unui atac, dar aveau dificultăți în a menține autonom un plan complex. Noile incidente arată însă cât de rapid evoluează aceste capacități.

Problema nu este doar cât de inteligent devine AI-ul

Cazul Gemini scoate în evidență o problemă care va deveni tot mai importantă pe măsură ce agenții AI primesc acces la browser, terminale, baze de date și infrastructuri informatice reale. Un model nu trebuie să aibă intenții malițioase pentru a produce un incident. Este suficient să interpreteze greșit limitele unei sarcini și să aibă instrumentele necesare pentru a acționa.

Google spune că episodul demonstrează tocmai necesitatea ca modelele puternice să fie antrenate să acționeze responsabil. Pentru companiile care le testează, provocarea este la fel de mare: mediile de evaluare trebuie construite astfel încât un agent foarte capabil să nu poată confunda o țintă simulată cu un sistem real aflat pe internet.

Incidentul nu demonstrează că Gemini s-a transformat într-un hacker autonom care atacă internetul după bunul plac. Demonstrează însă ceva poate mai relevant pentru viitorul apropiat: modelele AI au devenit suficient de capabile încât o eroare privind limitele unei sarcini să le poată conduce în sisteme reale fără ca un om să le arate pas cu pas cum să ajungă acolo.

„Baywatch” revine în 2027 cu o nouă generație de salvamari. Cine îi înlocuiește pe Pamela Anderson și David Hasselhoff VIDEO