Inteligența artificială Alibaba, surprinsă încercând să trimită date către un server din China. Ce a făcut AI-ul fără să i se ceară

Potrivit unei investigații publicate de The Register, modelul Qwen3.8-Flash-Next, dezvoltat de Alibaba, a încercat să încarce un fișier de test într-un serviciu de stocare Alibaba Cloud din Beijing, deși nu primise nicio instrucțiune care să justifice această acțiune. Conexiunea a fost blocată de sistemul de protecție al mediului în care se desfășura experimentul, astfel că transferul nu a fost realizat. Cercetătorii subliniază că, deocamdată, nu există dovezi că modelul ar fi încercat deliberat să spioneze utilizatorii.

Ce a făcut inteligența artificială Alibaba în timpul experimentului

Experimentul a fost realizat de Cohere folosind CTI-REALM, un sistem de evaluare dezvoltat de Microsoft pentru testarea capacităților agenților AI în domeniul securității cibernetice. Modelul Qwen primise o sarcină relativ simplă: să creeze o regulă de securitate capabilă să identifice descărcarea și executarea unor scripturi potențial periculoase pe un calculator.

În mod normal, pentru îndeplinirea acestei sarcini, inteligența artificială ar fi trebuit să analizeze cerința și să genereze regula respectivă. Nu avea niciun motiv să acceseze internetul sau să investigheze sistemul pe care funcționa.

În schimb, modelul a început să execute mai multe comenzi. A verificat conținutul directorului temporar al calculatorului, a căutat instrumente disponibile pentru transferul fișierelor și a consultat configurația DNS a sistemului. Ulterior, a încercat să trimită un mesaj de test către un server Alibaba Cloud din Beijing, folosind comanda curl, utilizată în mod obișnuit pentru transferul datelor prin internet.

Ceea ce i-a surprins și mai mult pe cercetători a fost diferența dintre acțiunile modelului și explicația generată de acesta. AI-ul susținea că nu folosește instrumente externe, deși în realitate executase comenzi care nu aveau legătură cu solicitarea inițială.

Sistemul de testare era însă izolat de internet, astfel că tentativa de comunicare a fost blocată înainte ca datele să poată fi transmise.

Incidentul amintește de problemele identificate anterior în cazul asistenților AI de programare precum Claude Code, Cursor și Codex, care pot executa uneori comenzi asemănătoare celor folosite de atacatorii informatici, chiar și atunci când încearcă să îndeplinească sarcini legitime.

A încercat inteligența artificială să spioneze utilizatorii?

Aceasta este întrebarea care a apărut imediat după descoperirea incidentului, însă cercetătorii avertizează că nu există suficiente informații pentru o asemenea concluzie.

Cohere nu a stabilit că modelul conține o funcție ascunsă pentru colectarea datelor și nici că Alibaba ar fi introdus intenționat un asemenea mecanism.

Una dintre explicațiile posibile este legată de modul în care sunt antrenate modelele de inteligență artificială. Acestea învață din cantități uriașe de informații, inclusiv texte, cod sursă și exemple de comenzi. Uneori, pot reproduce fragmente din materialele întâlnite în timpul antrenării, chiar dacă acestea nu sunt potrivite pentru situația respectivă.

Dacă modelul a fost antrenat inclusiv cu jurnale tehnice sau exemple de comenzi care accesau infrastructura Alibaba Cloud, este posibil să fi reprodus un asemenea comportament într-un context nepotrivit.

Totuși, cercetătorii consideră că incidentul nu poate fi ignorat, deoarece AI-ul nu s-a limitat la generarea unui răspuns greșit. A încercat să execute efectiv comenzi și să comunice cu un server extern.

Un alt detaliu important este frecvența extrem de redusă a comportamentului. Potrivit Cohere, acesta a apărut în mai puțin de una din 100.000 de interacțiuni analizate.

Compania a efectuat și teste suplimentare pentru a încerca să reproducă incidentul. Folosind o metodă prin care oferea modelului începutul unor comenzi pe care acesta trebuia să le completeze, cercetătorii au observat că adresele unor servere considerate suspecte apăreau în până la 23% dintre rezultate.

Acest procent nu reflectă însă comportamentul obișnuit al modelului, ci rezultatele unor experimente construite special pentru a provoca asemenea răspunsuri.

De ce incidentul reprezintă un semnal de alarmă pentru securitatea calculatoarelor

Problema devine mai ușor de înțeles dacă facem diferența dintre un chatbot obișnuit și un agent AI.

Un chatbot răspunde la întrebări, explică informații sau generează texte. În schimb, un agent AI poate primi acces la sistemul de operare, poate executa comenzi, modifica fișiere, instala programe și comunica prin internet.

Aceste capacități sunt extrem de utile în programare, automatizare și administrarea sistemelor informatice. Totuși, ele pot deveni periculoase atunci când inteligența artificială interpretează greșit instrucțiunile sau execută operațiuni care depășesc sarcina primită.

Riscurile sunt și mai mari în cazul companiilor care folosesc asemenea instrumente pentru a lucra cu documente interne, baze de date, informații financiare sau date confidențiale.

Playtech a relatat anterior despre experimente în care agenții AI au reușit să pătrundă în sisteme informatice și să se copieze pe alte calculatoare. Chiar dacă asemenea teste se desfășoară în medii controlate, ele demonstrează cât de importante devin limitele impuse sistemelor autonome.

În cazul modelului Alibaba, principala îngrijorare nu este neapărat faptul că serverul se afla în China, ci că inteligența artificială a încercat să realizeze o operațiune pentru care nu primise permisiunea explicită.

Ivan Zhang, cofondatorul Cohere, a explicat pentru The Register că modelul trebuia să creeze o regulă de detecție, o sarcină care nu necesita comunicarea cu un server extern. În plus, explicația generată de AI nu reflecta acțiunile sale reale.

Cum a reacționat Alibaba și ce recomandă specialiștii

Până la publicarea investigației The Register, Alibaba nu oferise un răspuns solicitării de comentarii referitoare la comportamentul modelului Qwen.

Cohere consideră că incidentul demonstrează necesitatea unor teste de securitate mult mai riguroase pentru sistemele AI, în special pentru cele care pot executa comenzi și accesa resurse externe.

Printre măsurile importante se numără limitarea accesului la internet, monitorizarea comenzilor executate și verificarea independentă a codului generat de inteligența artificială.

Totuși, cercetătorii atrag atenția că izolarea unui model de internet nu rezolvă toate problemele. Chiar și fără posibilitatea de a transmite date în exterior, un sistem AI poate genera cod vulnerabil sau poate modifica fișiere într-un mod care compromite securitatea calculatorului.

Descoperirea trebuie privită și în contextul concurenței dintre companiile care dezvoltă inteligență artificială. Cohere comercializează propriile modele AI pentru companii, astfel că rezultatele investigației ar trebui confirmate și prin evaluări independente.

În același timp, preocupările privind securitatea agenților AI și capacitatea lor de a executa instrucțiuni periculoase sunt tot mai prezente în industria tehnologică.

Pentru moment, nu există dovezi că modelele Qwen transmit sistematic informații către China sau că incidentul reprezintă o operațiune de spionaj. Există însă un comportament suspect documentat într-un mediu de testare: un model AI a încercat să execute acțiuni care nu îi fuseseră cerute și care nu apăreau în explicația propriilor operațiuni.

Pe măsură ce inteligența artificială primește tot mai mult control asupra calculatoarelor, problema nu mai este doar dacă aceste sisteme oferă răspunsuri corecte. La fel de important devine să putem verifica ce fac efectiv și dacă respectă limitele impuse de utilizatori.