Un agent AI creat pentru securitate a încălcat toate regulile de protecție. Ce au descoperit dezvoltatorii despre riscurile noii tehnologii

Un agent AI care poate naviga singur pe internet, accesa pagini și completa formulare poate deveni o problemă de securitate atunci când folosește sesiunea autentificată a unei persoane. O companie care dezvoltă soluții de securitate a construit un astfel de agent și a descoperit că acesta încălca trei principii esențiale: avea identitatea utilizatorului, beneficia de accesul acestuia și nu putea fi diferențiat în mod clar de o acțiune făcută de om.

Experimentul realizat de Token arată una dintre problemele mai puțin evidente ale extinderii agenților AI în companii. Chiar dacă un sistem automat execută acțiuni în numele unei persoane, aplicația accesată poate să nu știe că în spatele comenzilor se află un agent, nu utilizatorul. În lipsa unor mecanisme clare de identificare și limitare a accesului, automatizarea poate ajunge să folosească drepturile unei persoane fără controalele necesare, scrie The Hacker News.

Rehearsal, agentul AI care acționa în browser în locul utilizatorului

Agentul construit de Token se numește Rehearsal și a fost conceput pentru a răspunde la întrebări în interiorul platformei companiei prin executarea unor acțiuni. În loc să ofere doar instrucțiuni, acesta poate deschide pagini în browser, aplica filtre și completa formulare.

Din punct de vedere tehnic, Rehearsal este un agent care controlează interfața unui site direct din browserul utilizatorului. Această abordare îl face util, deoarece poate interacționa cu platforma într-un mod apropiat de cel al unei persoane. În același timp, introduce o vulnerabilitate importantă: agentul funcționează în sesiunea autentificată a utilizatorului și beneficiază de accesul asociat contului respectiv.

Problema apare atunci când serverul primește comenzile. Un cookie de sesiune indică identitatea persoanei autentificate, dar nu oferă informații despre cine controlează efectiv browserul. Din perspectiva aplicației, un clic făcut de agent poate arăta exact ca unul realizat manual de utilizator.

Astfel, sistemul nu poate distinge automat între o acțiune umană și una executată de AI. Nu știe cine conduce sesiunea, ce sarcină a primit agentul sau dacă operațiunea se încadrează în limitele permise pentru acel scop.

Cum a limitat Token accesul agentului și a urmărit fiecare acțiune

Compania a avut un avantaj important în experiment: dezvoltatorii controlau atât agentul Rehearsal, cât și platforma în care acesta funcționa. Prin urmare, au putut introduce mecanisme de securitate care nu sunt disponibile în cazul agenților creați de terți.

Vezi și:

Compania din spatele TikTok pregătește un nou agent AI care să concureze cu Meta și OpenAI. ByteDance vrea să recupereze decalajul în inteligența artificială

OpenAI a creat un „buton de oprire de urgență” pentru inteligența artificială. Modelele AI pot fi blocate în 35 de secunde dacă devin periculoase

Prima măsură presupune ca interfața aplicației să indice clar cine controlează sesiunea. Atunci când Rehearsal acționează, platforma este estompată și blocată temporar, astfel încât utilizatorul să poată vedea că agentul preia controlul.

O altă măsură este înregistrarea fiecărei acțiuni, inclusiv a celor blocate. Această evidență permite verificarea comportamentului agentului și identificarea tentativelor de a executa operațiuni care nu sunt permise.

Token a limitat și drepturile agentului sub nivelul celor acordate utilizatorului. În cazul Rehearsal, tablourile de bord pot fi consultate, dar nu modificate. Agentul nu poate salva informații fără aprobarea persoanei, nu completează câmpuri care conțin date secrete și nu trimite solicitări pe care platforma le-a refuzat.

În plus, sistemul folosește etichetele de accesibilitate ale paginii pentru a înțelege funcțiile elementelor din interfață. Acest lucru îl ajută să identifice comenzile disponibile fără să fie nevoit să ghicească rolul fiecărui buton sau câmp.

Aceste protecții funcționează însă tocmai pentru că Token a construit ambele componente și le poate conecta direct. Un agent extern care controlează browserul unei companii nu beneficiază automat de aceleași informații și restricții.

De ce agenții AI au nevoie de identitate și permisiuni proprii

În cazul unui agent care operează într-o aplicație CRM sau într-o consolă de administrare cloud, problema devine mai complicată. Aplicația nu știe că este controlată de un agent, iar acesta poate să nu înțeleagă dacă un anumit câmp conține o parolă sau dacă un buton șterge definitiv o înregistrare.

Token consideră că agenții trebuie să aibă propriile identități, separate de cele ale persoanelor, precum și permisiuni limitate la sarcina primită. De asemenea, activitatea lor trebuie înregistrată distinct, astfel încât administratorii să poată identifica cine a executat o operațiune și în numele cui.

Există deja inițiative care încearcă să rezolve anumite părți ale problemei. De exemplu, funcția de navigare automată din Chrome poate solicita aprobarea unei persoane înaintea unor acțiuni importante, precum efectuarea plăților sau trimiterea unor e-mailuri în masă. Agentul poate fi limitat la site-urile necesare sarcinii, iar paginile vizitate sunt marcate în istoricul utilizatorului.

Microsoft permite administratorilor să activeze navigarea cu agenți separat pentru fiecare site și să o întrerupă înainte de introducerea parolelor sau a datelor cardurilor.

O altă inițiativă este WebMCP, un proiect aflat în dezvoltare într-un grup comunitar W3C, susținut de Google și Microsoft. Acesta ar permite site-urilor să expună direct acțiunile pe care agenții le pot executa și să indice dacă o operațiune este doar pentru citire sau poate avea consecințe importante.

Web Bot Auth, un proiect aflat în lucru în cadrul IETF, urmărește să permită verificarea identității agentului care trimite o solicitare. Totuși, identificarea agentului nu rezolvă singură problema delegării: aplicația trebuie să știe și în numele cui acționează acesta și ce permisiuni i-au fost acordate.

Ce pot face companiile pentru a preveni abuzul de acces

Token avertizează că organizațiile nu ar trebui să aștepte apariția unor standarde complete înainte să înceapă să controleze agenții AI. Primul pas este identificarea browserelor cu funcții agentice, a extensiilor și a altor instrumente automate care pot acționa prin sesiuni autentificate.

Companiile ar trebui să stabilească ce angajați folosesc aceste instrumente, cine le administrează și la ce conturi sau resurse au acces. Este necesară și verificarea permisiunilor fiecărui agent, pentru a identifica situațiile în care acesta poate ajunge la informații sau funcții care nu sunt necesare sarcinii sale.

O altă măsură recomandată este analiza traseelor prin care un agent ar putea ocoli controalele existente. Pentru operațiunile sensibile sau ireversibile, precum ștergerea unor date ori efectuarea plăților, ar trebui solicitată aprobarea explicită a unei persoane sau o verificare suplimentară a identității, de exemplu printr-o cheie de acces.

Organizațiile pot cere și furnizorilor de servicii SaaS să precizeze dacă jurnalele de audit fac diferența între acțiunile agenților și cele ale angajaților și dacă oferă mecanisme prin care accesul poate fi limitat la o anumită sarcină.

Ce se întâmplă cu angajații primăriilor dacă localitățile sunt comasate. Cine riscă să își piardă locul de muncă