Șeful Anthropic cere o frână în cursa AI: „Trebuie să încetinim”. Companiile sunt avertizate să limiteze autonomia agenților

Dario Amodei, CEO-ul Anthropic, transmite unul dintre cele mai ferme avertismente de până acum privind dezvoltarea inteligenței artificiale: industria ar trebui să încetinească ritmul în care modelele AI devin mai puternice și să folosească timpul câștigat pentru a învăța cum să le controleze. Mesajul are consecințe directe și pentru companiile care implementează agenți autonomi, unde accentul ar trebui să se mute de la simpla protejare a sistemelor la limitarea clară a lucrurilor pe care AI-ul are voie să le facă, scrie Dark Reading.

Avertismentul nu este o pledoarie pentru oprirea inteligenței artificiale. Amodei susține că progresul poate continua, dar într-un ritm care să permită cercetării în domeniul siguranței, mecanismelor de control și evaluărilor independente să țină pasul cu modelele. Problema este că AI-ul începe deja să ajute la dezvoltarea următoarelor generații de AI, fenomen cunoscut drept „recursive self-improvement”, iar această buclă ar putea accelera evoluția sistemelor într-un mod greu de anticipat.

Dario Amodei: AI-ul ar putea evolua mai repede decât capacitatea noastră de a-l controla

În eseul intitulat „We Must Pace the Frontier”, șeful Anthropic spune direct că industria trebuie să reducă viteza cu care îmbunătățește capabilitățile modelelor AI. Motivul principal este că progresele recente au devenit mult mai rapide, iar sistemele sunt din ce în ce mai capabile să contribuie la propria evoluție. În opinia sa, dacă tendința continuă necontrolat, capacitățile AI ar putea ajunge să avanseze mai repede decât instrumentele folosite de oameni pentru a înțelege, monitoriza și controla aceste sisteme.

Al doilea motiv este legat de incidentele recente în care agenți AI au depășit limitele scenariilor pentru care fuseseră creați. Amodei menționează cazul OpenAI-Hugging Face, în care un roi de agenți a efectuat acțiuni cibernetice care nu făceau parte din obiectivul inițial al testului. Playtech a relatat recent despre experimentul în care peste 1.000 de agenți AI au depășit limitele mediului de testare și și-au creat metode proprii de comunicare.

Vezi și:

Întrebarea la care să nu răspunzi în grabă când ești oprit de Poliție în trafic. Ce recomandă un avocat șoferilor

Pentru Amodei, faptul că incidentul nu a produs pagube majore nu înseamnă că poate fi ignorat. CEO-ul Anthropic avertizează că un roi asemănător, dar format din modele mult mai capabile, ar putea provoca daune catastrofale. El merge până la scenariul în care, în următoarele 6-12 luni, sisteme suficient de puternice ar putea crea un botnet persistent și ar putea compromite infrastructură online la scară foarte mare dacă evoluția capabilităților continuă fără mecanisme de protecție comparabile. Este însă un scenariu de risc formulat de Amodei, nu o predicție certă că un asemenea atac se va produce.

Agenții AI ar trebui tratați ca niște „angajați neverificați”

Pentru companii, avertismentul are o semnificație mult mai imediată. Rickard Carlsson, CEO-ul companiei de securitate Detectify, spune că organizațiile nu trebuie să renunțe la folosirea inteligenței artificiale, dar trebuie să știe exact ce resurse poate accesa fiecare agent AI și ce se întâmplă atunci când primește prea multe privilegii. Un agent care poate ajunge simultan la emailuri, baze de date, fișiere interne și sisteme administrative poate executa acțiuni într-un ritm imposibil de urmărit manual în timp real.

Specialistul compară un agent AI cu un „angajat neverificat” care poate avea acces la cele mai sensibile sisteme ale companiei și, în același timp, dispune de abilități tehnice foarte avansate. Soluția este limitarea accesului încă din momentul implementării, izolarea agenților acolo unde este posibil și monitorizarea continuă a acțiunilor lor. Riscurile nu sunt doar teoretice: serviciile de securitate din alianța Five Eyes au avertizat deja că AI-ul agentic poate deschide noi căi pentru atacuri cibernetice dacă este implementat prea repede.

Vezi și:

Anthropic taie accesul la internet pentru testele interne după ce Claude a atacat site-uri reale. AI-ul a trimis inclusiv un pont fals poliției

Meta intră în cursa modelelor AI de top cu Muse Wonder și Wonder Full. Ce pot face noile sisteme

Denis Calderone, director tehnic al Suzu Labs, recomandă ca fiecare agent să primească o identitate digitală proprie și credențiale valabile doar pentru sarcina pe care trebuie să o execute. Cu alte cuvinte, un agent care trebuie să analizeze un document nu ar trebui să primească automat acces și la email, la infrastructura companiei sau la sisteme de producție. Fiecare acțiune trebuie să poată fi urmărită ulterior, astfel încât organizația să știe nu doar ce ar fi trebuit să facă AI-ul, ci și ce a făcut efectiv.

De la dezvoltarea AI la controlul AI

Problema devine cu atât mai importantă cu cât modelele sunt deja capabile să descopere vulnerabilități și să execute acțiuni complexe. Într-un alt experiment despre care Playtech a scris recent, agenții AI au încercat să introducă malware într-un proiect open-source, inclusiv prin crearea unor identități false. Testele erau controlate și nu demonstrează că modelele au intenții proprii, dar arată ce se poate întâmpla atunci când autonomia este combinată cu acces suficient la sisteme reale.

Amodei propune, în acest context, un plan în trei etape. Companiile care dezvoltă modele de frontieră ar trebui mai întâi să ofere evaluatorilor independenți acces constant la procesele lor de dezvoltare și antrenare. Ulterior, marile laboratoare AI din statele democratice ar trebui să stabilească standarde comune și limite pentru progresul necontrolat, iar etapa finală ar presupune coordonare internațională, inclusiv cu China. Anthropic spune că intenționează deja să implementeze prima etapă și să permită evaluatorilor externi să verifice respectarea măsurilor de siguranță.

Este aceeași problemă asupra căreia au atras recent atenția și alte nume importante din tehnologie. Google, Microsoft, OpenAI și alte aproximativ 100 de companii și organizații au avertizat că securitatea cibernetică trebuie să țină pasul cu AI-ul, într-un moment în care modelele devin mai eficiente inclusiv în identificarea și exploatarea vulnerabilităților.

Amodei crede că și numai unul sau doi ani câștigați printr-o dezvoltare mai atent dozată ar putea face o diferență majoră dacă acel timp este investit în alinierea modelelor, interpretabilitate, monitorizare și securitate. Miza nu mai este, așadar, doar construirea unui AI mai inteligent. Pentru următoarea etapă a industriei, întrebarea esențială ar putea deveni cât de bine poate fi controlat acel AI după ce primește autonomie reală.

Alternativa gratuită la Claude Cowork care poate lucra singură pe PC. OpenWork folosește inclusiv ChatGPT și modele locale