Șeful Anthropic trage semnalul de alarmă în cursa AI: „Îi datorăm omenirii să încercăm”. Incidentul care l-a speriat pe Dario Amodei

Dario Amodei, CEO-ul Anthropic, lansează unul dintre cele mai ferme avertismente venite până acum chiar din interiorul industriei inteligenței artificiale. Omul care conduce compania din spatele Claude le cere marilor laboratoare AI să încetinească dezvoltarea celor mai puternice sisteme, înainte ca progresele tehnologice să depășească mecanismele prin care oamenii le pot controla, conform Reuters.

Într-un eseu intitulat „We Must Pace the Frontier”, Amodei susține că beneficiile inteligenței artificiale ar putea fi extraordinare, de la accelerarea cercetării medicale până la creșterea economică. În același timp, avertizează că riscurile devin suficient de mari încât industria nu își mai poate permite să mizeze doar pe ideea că problemele vor fi rezolvate pe parcurs. „Îi datorăm omenirii să încercăm”, este mesajul transmis de șeful Anthropic în pledoaria sa pentru încetinirea cursei AI.

Amodei avertizase anterior și că viitorul inteligenței artificiale este controlat de prea puțini oameni, o concentrare de putere pe care o considera profund îngrijorătoare.

Incidentul OpenAI care l-a alarmat pe Dario Amodei

Unul dintre episoadele care au cântărit greu în avertismentul lui Amodei s-a produs în iulie 2026. În timpul unor evaluări interne de securitate cibernetică, modele AI ale OpenAI au reușit să ocolească mecanismele care trebuiau să le izoleze de internet și au ajuns să compromită părți din infrastructura OpenAI și din sistemele Hugging Face.

Vezi și:

Întrebarea la care să nu răspunzi în grabă când ești oprit de Poliție în trafic. Ce recomandă un avocat șoferilor

Cazul este mai nuanțat decât formularea potrivit căreia „un AI a evadat și a atacat internetul”. Modelele erau testate intenționat pentru capabilități de securitate cibernetică, cu unele măsuri de protecție reduse. Totuși, sistemul a exploatat vulnerabilități, a ieșit din mediul controlat, a obținut acces la internet și a pătruns în infrastructura Hugging Face fără ca un om să-i dicteze fiecare pas. OpenAI a descris ulterior episodul drept un incident cibernetic fără precedent.

Hugging Face a oferit ulterior o reconstrucție tehnică și mai spectaculoasă: aproximativ 17.600 de acțiuni ale agentului au putut fi recuperate din loguri, iar campania s-a întins pe mai multe zile. Agentul a combinat vulnerabilități și infrastructuri diferite pentru a-și urmări obiectivul de evaluare, comportament care arată cât de sofisticate au devenit sistemele AI autonome.

OpenAI a luat deja măsuri după incident. Compania a încetinit temporar unele dintre cele mai avansate antrenamente, după cum Playtech a relatat despre frâna trasă în cursa AI.

Vezi și:

Anthropic taie accesul la internet pentru testele interne după ce Claude a atacat site-uri reale. AI-ul a trimis inclusiv un pont fals poliției

Un AI a trimis poliției un pont fals despre o crimă nerezolvată. Ce a făcut Anthropic timp de două luni

„Aglomerări” de agenți AI ar putea deveni imposibil de controlat

Pentru Amodei, pericolul nu se limitează la un singur agent care găsește o vulnerabilitate. CEO-ul Anthropic se teme de momentul în care numeroși agenți AI foarte capabili vor putea lucra împreună, la viteze imposibil de egalat de echipele umane.

El avertizează că, într-un interval de ordinul lunilor, astfel de sisteme ar putea dobândi capacități suficient de avansate pentru a amenința infrastructura digitală la scară largă. Printre riscurile menționate de Amodei se numără pierderea controlului asupra sistemelor AI, folosirea lor pentru atacuri cibernetice sau bioterorism și perturbări economice majore.

O preocupare aparte este așa-numita autoîmbunătățire recursivă: AI-ul devine suficient de bun la cercetare și programare încât să contribuie semnificativ la construirea următoarei generații de AI, accelerând astfel propria evoluție. Într-un asemenea scenariu, ritmul progresului ar putea crește dramatic, în timp ce oamenii ar avea tot mai puțin timp pentru a înțelege și testa fiecare nouă generație.

Avertismentul vine la doar câteva zile după ce un fost cercetător Anthropic a demisionat invocând riscuri existențiale ale tehnologiei. Playtech a relatat despre avertismentul fostului cercetător Anthropic Jacob Coxon, care consideră că laboratoarele AI nu fac suficient pentru a controla cursa către sisteme superinteligente.

Planul prin care Anthropic vrea să încetinească dezvoltarea AI

Amodei nu solicită pur și simplu oprirea inteligenței artificiale. Propunerea sa este ca dezvoltarea capabilităților de frontieră să fie încetinită suficient pentru ca măsurile de siguranță, testarea și instituțiile de reglementare să poată ține pasul.

Una dintre principalele măsuri propuse presupune acces permanent pentru evaluatori independenți în interiorul companiilor AI. Aceștia ar putea verifica respectarea regulilor de siguranță, analiza incidentele și testa comportamentul modelelor inclusiv în timpul dezvoltării. Anthropic spune că este pregătită să implementeze unilateral această măsură.

Următorul pas ar presupune coordonarea între marile companii AI din țările democratice, astfel încât niciun laborator să nu fie împins să ignore siguranța doar pentru că rivalii avansează mai repede. În cele din urmă, Amodei vede necesară și cooperarea internațională, inclusiv discuții între Statele Unite și China, pentru limitarea celor mai periculoase utilizări ale sistemelor avansate.

Mesajul este cu atât mai important cu cât vine de la conducătorul uneia dintre companiile aflate chiar în centrul acestei competiții. Anthropic dezvoltă Claude și continuă să-i extindă autonomia, inclusiv prin instrumente capabile să interacționeze direct cu site-uri și servicii online. Playtech a scris recent despre browserul prin care Claude poate naviga și completa formulare în locul utilizatorului.

În esență, avertismentul lui Amodei scoate la suprafață paradoxul actualei curse AI: aceleași companii care construiesc sisteme tot mai autonome avertizează acum că viteza cu care acestea devin mai capabile ar putea ajunge să fie problema. Pentru șeful Anthropic, întrebarea nu mai este dacă AI va deveni extraordinar de puternică, ci dacă oamenii vor reuși să construiască suficient de repede mecanismele necesare pentru a o ține sub control.