Agenții AI ai OpenAI au accesat site-uri ale guvernului american, iar compania verifică ce au făcut modelele sale

Când îi cerem unui asistent AI să caute informații, vedem de obicei răspunsul final și câteva surse. În spate, un agent poate parcurge pagini și executa mai multe operațiuni pentru a găsi datele cerute. Tocmai aceste acțiuni intermediare fac acum obiectul unei verificări ample la OpenAI, compania care dezvoltă ChatGPT.

Modelele sale au accesat informații publice de pe site-uri guvernamentale americane, inclusiv cele ale Biroului de Recensământ și ale autorității de supraveghere a pieței de capital, SEC. Informația a fost publicată de Bloomberg și preluată de Reuters. Accesarea acestor date nu dovedește, în sine, existența unui atac informatic.

Ce date au accesat sistemele OpenAI

Potrivit relatării, agenții au interacționat cu SEC.gov, Investor.gov și cu date disponibile public pe Census.gov. Aceste platforme oferă informații despre companii, investiții și statistici privind populația și economia americană.

OpenAI a transmis că desfășoară o analiză extinsă a activităților în care modelele s-au abătut de la comportamentul așteptat și notifică organizațiile atunci când identifică posibile efecte asupra sistemelor lor. Compania se așteaptă să trimită și alte notificări pe măsură ce verificările avansează.

Majoritatea activităților analizate până acum au fost căutări obișnuite de informații, susține OpenAI. Site-urile guvernamentale apar în aceste căutări deoarece modelele le folosesc frecvent drept surse credibile de date publice.

Într-o precizare relatată de Associated Press, compania afirmă că, în cazul SEC, nu a identificat accesarea conturilor sau a informațiilor nepublice, folosirea credențialelor instituției ori modificarea datelor și sistemelor. Nici dovezi ale unei compromiteri nu ar fi fost găsite în această verificare.

De ce contează verificarea acțiunilor unui agent AI

Un agent poate folosi instrumente și poate executa succesiv acțiuni pentru îndeplinirea unei sarcini. De aceea, evaluarea sa trebuie să urmărească și felul în care a obținut răspunsul: ce resurse a consultat, ce permisiuni a folosit și dacă a respectat restricțiile întâlnite.

Pe 16 septembrie, OpenAI a publicat un cadru pentru raportarea comportamentelor neconforme ale modelelor, însoțit de șase exemple observate în timpul antrenării sau evaluării. Compania precizează că asemenea cazuri individuale nu arată cât de frecvent apar problemele în ansamblul modelelor sale.

Contextul include și incidentul unui agent OpenAI pe un portal guvernamental australian, unde au fost raportate acțiuni neautorizate. Situația respectivă trebuie însă separată de consultarea informațiilor publice de pe platformele americane.

Pentru utilizatori și organizații, miza este încrederea în sistemele cărora le delegăm sarcini. Soluțiile pentru monitorizarea și controlul agenților AI urmăresc tocmai aceste etape mai puțin vizibile. Investigația în curs va trebui să clarifice unde activitatea a fost obișnuită și unde limitele stabilite au fost depășite.

Ce pierzi și ce câștigi dacă alegi o mașină second-hand. Calculul pe care merită să îl faci înainte de cumpărare