Amazon spune că omul nu trebuie să aprobe fiecare pas al AI-ului: de ce „human in the loop” nu mai e văzut ca soluția perfectă

Ideea pare, la prima vedere, imposibil de contestat: dacă un sistem de inteligență artificială poate lua decizii sau poate acționa într-o companie, trebuie să existe mereu un om care să verifice și să aprobe fiecare pas. Este principiul cunoscut drept „human in the loop”, prezentat ani la rând drept una dintre cele mai importante plase de siguranță pentru AI.

Amazon începe însă să conteste această abordare, conform presei străine. Eric Brandwine, vicepreședinte și inginer distins în cadrul Amazon Security, susține că un om pus să valideze în mod repetat deciziile luate de agenți AI nu devine automat o garanție pentru securitate. Din contră, după suficiente alerte și aprobări, atenția scade, iar verificarea riscă să devină un simplu gest făcut din reflex.

Mesajul nu este că oamenii trebuie scoși complet din ecuație. Amazon propune altceva: mai puține aprobări manuale pentru fiecare sarcină mică și mai multă responsabilitate clară, identități separate pentru agenți AI, permisiuni limitate și reguli automate care împiedică acțiunile cu risc ridicat.

De ce aprobarea umană repetată poate deveni o problemă

Brandwine compară problema cu fenomenul numit „normalizarea abaterii”. În multe organizații, oamenii încep prin a respecta strict regulile, însă se obișnuiesc treptat cu alertele, excepțiile și situațiile care par periculoase, dar nu au consecințe imediate. După un timp, disciplina scade, iar reacția întârziată apare exact atunci când alerta este reală.

Vezi și:

Ce se întâmplă dacă lucrarea este anulată la Evaluarea Națională sau Bacalaureat. Timpul suplimentar pe care îl pot primi elevii

Un exemplu simplu este cel al sistemelor de monitorizare care generează prea multe notificări. În prima zi, fiecare mesaj este verificat cu atenție. După sute de alarme false sau neimportante, persoana responsabilă începe să ignore anumite semnale. În securitate cibernetică, unde viteza unui atac poate fi măsurată în secunde, această oboseală poate deveni extrem de periculoasă.

În cazul agenților AI, problema apare atunci când un angajat trebuie să apese „approve” de zeci sau sute de ori pe zi. La început, va verifica fiecare cerere. Mai târziu, poate ajunge să aprobe automat, doar pentru a nu bloca activitatea. Astfel, prezența omului în flux rămâne doar formală, fără să mai ofere neapărat protecția promisă.

Amazon susține că modelul „human in the loop” trebuie folosit doar în momentele în care este absolut necesar, nu ca soluție generală pentru orice operațiune AI. Un agent care sortează documente sau adună date dintr-un sistem intern poate lucra cu autonomie mai mare. În schimb, unul care are acces la ștergerea unor baze de date, la transferuri financiare sau la infrastructură critică trebuie să funcționeze între limite mult mai stricte.

Vezi și:

Meta a tăiat mii de joburi pentru AI, iar propriul director tehnic recunoaște că moralul angajaților s-a prăbușit

INTERVIU Elevul de doar 16 ani care nu știe programare, dar a creat Jarvis cu AI: asistentul util care îți vede ecranul și îți simplifică munca

Responsabilitate de la început până la final

Alternativa propusă de Amazon este „accountability end to end”, adică responsabilitate urmărită pe întregul traseu al unei acțiuni. Cu alte cuvinte, chiar dacă un agent AI execută o comandă, compania trebuie să poată vedea cine a pornit acel agent, în numele cui a lucrat, ce permisiuni avea și ce decizie a dus la rezultatul final.

Practic, un agent nu ar trebui să apară în sistem ca o entitate misterioasă care a făcut ceva de una singură. El trebuie să aibă o identitate proprie, credențiale controlate, drepturi limitate și jurnalizare completă. În loc să apară în loguri doar că un angajat a făcut o schimbare, compania ar trebui să poată vedea că un anumit agent a făcut acea schimbare în numele acelui angajat.

Această diferență contează enorm atunci când apare un incident. Dacă un agent oprește accidental un serviciu, șterge fișiere sau modifică o configurație esențială, echipa de securitate trebuie să poată reconstrui rapid ce s-a întâmplat. Cine i-a dat instrucțiunea? Ce limitări avea? A existat o regulă pe care a ignorat-o sau o permisiune acordată prea larg?

Amazon pune accent și pe permisiuni dinamice. Un agent nu ar trebui să primească acces total doar pentru că are nevoie de o acțiune punctuală. De exemplu, un agent care ajută la actualizarea unei baze de date poate avea voie să analizeze configurația și să propună modificări, dar nu să șteargă baza de date sau să închidă servere. Cu cât scopul este mai clar și mai restrâns, cu atât riscul poate fi controlat mai bine.

Marile companii schimbă modul în care privesc agenții AI

Amazon nu este singura companie care începe să vorbească despre trecerea de la supraveghere continuă la control prin reguli, identități și responsabilitate. Google Cloud a prezentat deja ideea unei apărări cibernetice conduse de AI, dar supravegheate de oameni. În acest model, agenții se ocupă de activitățile repetitive și urgente, iar oamenii rămân responsabili pentru direcție, evaluarea riscurilor și deciziile importante.

Microsoft vorbește, la rândul său, despre „loop learning”, un model în care organizațiile își transformă fluxurile de lucru, experiența și deciziile acumulate în sisteme AI care devin mai bune prin utilizare. Ideea este că un om nu trebuie să valideze manual fiecare pas, dar trebuie să controleze datele, obiectivele și regulile după care agentul învață.

Această schimbare nu înseamnă că agenții AI sunt pregătiți să funcționeze complet singuri. Brandwine atrage atenția asupra comportamentului orientat excesiv spre obiectiv: un agent poate primi instrucțiunea de a actualiza o bază de date și poate ajunge să caute soluții greșite, dar aparent eficiente, pentru a-și îndeplini sarcina. De aceea, simplul mesaj „nu ai voie să faci asta” nu este mereu suficient.

Agentul trebuie să înțeleagă și de ce o acțiune este interzisă. Dacă îi spui că nu poate șterge o bază de date pentru că ar afecta producția, iar obiectivul lui include explicit evitarea impactului asupra serviciilor active, șansele de a alege o soluție periculoasă pot scădea. Nu este o garanție, dar este o metodă mai realistă decât speranța că un angajat va observa fiecare greșeală înainte să se producă.

În următorii ani, marea întrebare nu va fi doar cât de bine pot lucra agenții AI, ci cât de bine pot fi controlați. Amazon transmite că răspunsul nu este să pui un om să apese „da” la infinit. Răspunsul este să construiești sisteme în care responsabilitatea, accesul și limitele sunt clare înainte ca agentul să primească prima comandă.