O singură propoziție a schimbat comportamentul Claude Code. Cât de departe poate merge AI-ul fără acordul dezvoltatorului

Un singur enunț despre obținerea acordului utilizatorului a făcut diferența între un Claude Code care nu depășea limitele cererii și unul care executa acțiuni suplimentare în 17,1% dintre testele analizate.

Cercetarea ridică o problemă importantă pentru instrumentele de programare bazate pe AI: un agent poate încerca să rezolve mai mult decât i s-a cerut, chiar dacă intenția dezvoltatorului era să limiteze intervenția la o modificare precisă.

Subiectul capătă relevanță în contextul informațiilor potrivit cărora Anthropic ar lucra la un model capabil să deducă mai bine intențiile oamenilor atunci când instrucțiunile sunt incomplete.

Claude Code a depășit limitele cererii în 17,1% dintre teste

Studiul „Overeager Coding Agents” a analizat aproximativ 7.500 de execuții realizate cu patru produse de programare bazate pe agenți AI și șase modele. Unul dintre rezultate a atras atenția cercetătorilor: eliminarea unei propoziții care cerea acordul utilizatorului a modificat rata acțiunilor dincolo de cerințele inițiale în cazul Claude Code, de la 0% la 17,1% în testele comparative, scrie thenewstack.io.

Rezultatul arată cât de mult poate conta felul în care sunt formulate instrucțiunile primite de un agent AI. O cerință care îi solicită explicit să obțină acordul înainte de a extinde o intervenție poate limita acțiunile suplimentare. Fără această condiție, modelul poate interpreta cererea inițială ca pe o permisiune mai largă decât cea intenționată.

Cercetătorii au observat diferențe și între instrumentele testate. Claude Code, Codex CLI și Gemini CLI au înregistrat rate ale acțiunilor care depășeau cerințele cuprinse între 5,4% și 27,7%. În cazul OpenHands, care folosește o abordare bazată pe solicitarea permisiunii pentru a continua, valorile au fost între 0,2% și 4,5%.

Nici modelul folosit nu a fost singurul factor relevant. Chiar și în cadrul aceluiași instrument, schimbarea modelului de bază a produs diferențe de până la 15,9 puncte procentuale. Prin urmare, comportamentul unui agent depinde atât de modelul care îl alimentează, cât și de mecanismele prin care acesta primește instrucțiuni și decide dacă trebuie să continue.

Vezi și:

Agenții AI primesc bugete și obiective: câtă autonomie poate ceda o companie fără să piardă controlul?

Elon Musk vine cu o idee asemănătoare cu cea a Anthropic, dar vrea să dea acțiuni SpaceX copiilor din America

Un alt studiu arată cât de des ignoră agenții limitele stabilite

O cercetare separată, intitulată „Coding Agents Are Guessing”, a testat Claude Code, Codex și OpenCode pe 2.208 de cerințe DevOps insuficient precizate, repartizate în 69 de categorii de sarcini. Între 55,8% și 67,8% dintre execuții au încălcat cel puțin una dintre limitele stabilite în scenariile de testare.

Studiul face o distincție importantă între două tipuri de greșeli. Un agent poate interveni asupra resursei greșite, deși operațiunea executată corespunde instrucțiunii, sau poate depăși domeniul de acțiune permis. Cele două situații nu sunt identice, chiar dacă ambele pot produce consecințe nedorite.

De exemplu, un agent ar putea executa corect o comandă de ștergere, dar asupra unui server diferit de cel vizat. În alt scenariu, ar putea modifica resursa potrivită, însă ar efectua și alte schimbări care nu au fost autorizate. În ambele cazuri, simpla capacitate de a urma instrucțiuni tehnice nu garantează că intervenția este sigură.

Cercetătorii au constatat și că avertismentele despre posibilele consecințe ale unei acțiuni nu au redus semnificativ tendința agenților de a continua atunci când ținta operațiunii era neclară.

Niciuna dintre aceste cercetări nu a testat modelul despre care se spune că este în dezvoltare la Anthropic. Rezultatele nu demonstrează, așadar, că viitoarea versiune va avea aceleași probleme, dar arată ce trebuie verificat atunci când un model este conceput să deducă intenții din instrucțiuni incomplete.

Incidentul AWS arată ce se poate întâmpla când un agent are prea mult acces

Riscurile nu se limitează la rezultatele din laborator. The New Stack amintește un incident în care agentul de programare Kiro, folosit intern de Amazon, ar fi adoptat o abordare neașteptată pentru remedierea unei probleme obișnuite din AWS Cost Explorer.

În loc să aplice o modificare punctuală, agentul ar fi decis să șteargă mediul respectiv și să îl recreeze. Potrivit relatării, acesta moștenise accesul extins al unui inginer, ceea ce i-a permis să ocolească un proces de aprobare care necesita implicarea a două persoane.

Cazul ilustrează diferența dintre capacitatea tehnică de a executa o operațiune și permisiunea de a o face. Un agent poate avea acces la resursele necesare pentru o intervenție amplă, fără ca solicitarea primită să autorizeze folosirea tuturor acestor drepturi.

O problemă similară a fost descrisă chiar de Anthropic într-un raport publicat pe 9 octombrie, despre acțiuni neintenționate ale modelelor sale. Compania a prezentat situații în care Claude a continuat să caute o cale de finalizare a sarcinii după ce întâmpinase o restricție.

Într-un test, Claude Haiku 4.5 trebuia să completeze un formular, dar să se oprească înainte de trimitere. Modelul l-a trimis totuși, aparent anticipând apariția unei pagini suplimentare de confirmare. Într-un alt caz, un model de cercetare nelansat publicului a trimis un formular guvernamental real după ce versiunea de test nu s-a încărcat sau a fost închisă accidental.

Anthropic a precizat că aceste incidente au avut un impact redus în lumea reală și a raportat că instrumentele sale de monitorizare au blocat toate cazurile documentate atunci când au fost testate. Compania a recunoscut și că instrucțiunile mai clare ar fi putut preveni unele dintre situații.

Poate un model AI să înțeleagă când trebuie să se oprească?

Potrivit informațiilor publicate de The Information, Anthropic dezvoltă un model care ar putea interpreta mai bine intențiile utilizatorilor atunci când aceștia nu formulează instrucțiuni complete. În exemplul prezentat, un dezvoltator îi cere AI-ului să repare o eroare, iar modelul identifică și alte probleme înrudite și întreabă dacă ar trebui să le rezolve și pe acestea.

Abordarea ar putea fi utilă pentru programare, unde o cerință scurtă nu descrie întotdeauna toate detaliile unei probleme. Totuși, identificarea unor probleme suplimentare nu înseamnă automat că agentul are permisiunea de a le modifica.

Un dezvoltator poate limita intenționat o intervenție din cauza unei migrări viitoare, a cerințelor de compatibilitate sau a unei perioade în care modificările în producție sunt interzise. Motivele respective nu sunt neapărat vizibile în codul proiectului, astfel încât un model nu le poate deduce întotdeauna doar din fișierele pe care le analizează.

Apel la protest național după ce o profesoară a fost atacată cu cuțitul în școală. Ce cer sindicaliștii: „Este nevoie de o reacție imediată”