Un sistem AI a inventat o amenințare nucleară din China. Avioanele militare americane erau deja în aer când s-a aflat adevărul

Halucinațiile inteligenței artificiale sunt de obicei asociate cu răspunsuri greșite, surse inventate sau informații care sună convingător, dar nu există. Un incident petrecut în primăvara acestui an arată însă cât de grave pot deveni consecințele atunci când aceeași problemă apare într-un sistem militar.

Armata SUA s-a pregătit să intercepteze o navă chineză în Orientul Mijlociu după ce un raport de informații realizat cu ajutorul unui chatbot AI susținea că aceasta transporta componente asociate unui program de arme nucleare. Avioane militare erau deja în aer, iar militari înarmați se pregăteau să urce la bordul navei atunci când informația a fost verificată mai atent și s-a dovedit falsă, potrivit unei investigații publicate de CNN, bazată pe patru surse familiarizate cu incidentul.

Chatbotul a identificat greșit încărcătura navei

Totul ar fi pornit de la un analist al US Special Operations Command Pacific, care a folosit un chatbot pentru a analiza informații despre manifestul de marfă al navei. Instrumentul AI a combinat informații din surse publice cu date clasificate provenite din informații de tip signals intelligence și a ajuns la concluzia greșită că nava transporta componente pentru un program nuclear.

Nu se știe ce chatbot a fost folosit și nici dacă era un produs comercial sau un sistem intern al guvernului american. CNN precizează, de asemenea, că nu a putut afla ce transporta în realitate nava. Cert este că identificarea produsă de AI era greșită, iar una dintre sursele publicației a descris raportul drept „entirely false”.

Vezi și:

După câte ore de la ultimul pahar te poți urca la volan. Cât timp rămâne alcoolul în sânge și în aerul expirat

Problema a fost amplificată de următorul pas. Analistul ar fi folosit din nou inteligența artificială pentru a transforma informațiile obținute într-un raport redactat în formatul standard utilizat în interiorul armatei. Documentul a fost apoi distribuit prin canalele militare și a fost tratat suficient de serios încât să înceapă pregătirea unei operațiuni de interceptare.

Eroarea a fost descoperită abia înaintea operațiunii

Verificările suplimentare au arătat abia în apropierea momentului intervenției că informația despre încărcătura navei era falsă. Potrivit CNN, o sursă familiarizată cu situația a afirmat că incidentul „aproape a pornit un război”, o apreciere care aparține sursei publicației. Operațiunea a fost oprită înainte ca militarii americani să urce la bordul navei chineze.

Cazul este relevant mai ales pentru că eroarea nu a rămas într-o conversație cu un chatbot. Informația produsă de model a trecut într-un document utilizat pentru luarea unor decizii reale. TechCrunch subliniază că incidentul pune din nou problema verificării umane atunci când AI este folosit în domenii în care o informație greșită poate avea consecințe imediate.

O problemă cunoscută devine mult mai serioasă când AI poate influența decizii reale

„Halucinația” este termenul folosit atunci când un model AI generează informații false, dar le prezintă într-o formă coerentă și aparent credibilă. Fenomenul este cunoscut de ani de zile, însă riscul se schimbă atunci când rezultatele modelelor sunt integrate în procese militare, medicale, juridice sau de securitate.

Am văzut recent și un alt exemplu al modului în care sistemele AI pot depăși limitele unei sarcini: Gemini a ajuns în sistemele a trei companii în timpul unor teste de securitate, după ce a interpretat greșit ce infrastructură avea voie să analizeze. Situațiile sunt diferite, dar au un punct comun: un sistem foarte capabil poate produce consecințe reale chiar fără vreo „intenție” proprie, dacă informațiile sale nu sunt verificate la timp.

Incidentul cu nava chineză arată astfel o problemă mult mai concretă decât scenariile îndepărtate despre AI scăpat de sub control: oamenii pot lua decizii extrem de importante pornind de la un răspuns fals, tocmai pentru că acesta este formulat suficient de convingător încât să pară corect.

Se schimbă stimulentul de 1.000 de lei pentru copiii cu dizabilități din București. Cine va primi mai puțin din 2027