O formulă matematică simplă ar putea prezice când AI-ul începe să dea răspunsuri periculoase

Inteligența artificială poate trece uneori de la răspunsuri aparent normale și utile la unele problematice fără un avertisment evident pentru utilizator. Doi fizicieni de la George Washington University susțin însă că această schimbare nu este întotdeauna imprevizibilă. Cercetătorii au dezvoltat o formulă matematică relativ simplă care încearcă să identifice momentul în care anumite modele AI se apropie de un „punct critic” și riscă să înceapă să producă răspunsuri nedorite, relatează Live Science.

Studiul, publicat pe 8 octombrie 2026 în revista științifică Patterns, poartă titlul „Competition for attention predicts good-to-bad tipping in AI” și este semnat de profesorul de fizică Neil F. Johnson și doctorandul Frank Yingjie Huo. Cei doi susțin că modul în care informațiile „concurează” pentru atenția unui model poate indica dacă răspunsurile sale sunt pe cale să treacă dintr-o zonă considerată acceptabilă într-una problematică. Cercetarea se înscrie într-un context în care siguranța sistemelor de inteligență artificială devine o preocupare tot mai importantă pentru companiile care dezvoltă modele avansate.

Cercetătorii au identificat un fel de „ac de busolă” în interiorul AI-ului

Ideea pornește de la ceea ce cercetătorii descriu metaforic drept un „ac de busolă” intern. Din punct de vedere tehnic, este vorba despre starea fluxului rezidual al modelului, un vector care se modifică pe măsură ce informația traversează straturile rețelei neuronale. Direcția acestuia poate indica dacă modelul se apropie mai mult de o categorie de răspunsuri considerate de cercetători „dezirabile” sau de una „indezirabilă”.

Ordinea conversației poate modifica această direcție. În testele prezentate de autori, aceeași întrebare putea primi răspunsuri diferite în funcție de mesajele care o precedau. Johnson și Huo au folosit, printre altele, întrebări despre vaccinuri, autovătămare și rănirea altor persoane. În cazul GPT-2, schimbarea ordinii întrebărilor a fost suficientă pentru ca modelul să ajungă în unele teste la rezultate catalogate diferit de cercetători.

Fenomenul este relevant deoarece conversațiile lungi pot modifica treptat contextul pe baza căruia un chatbot generează următorul răspuns. Nu este vorba despre faptul că AI-ul „decide” să devină rău sau că ar avea intenții proprii. Mai degrabă, anumite configurații matematice din interiorul modelului pot favoriza o categorie diferită de rezultate. Distincția este importantă și în discuțiile despre situațiile în care AI-ul poate ajunge la comportamente periculoase fără să aibă intenții proprii.

Formula încearcă să avertizeze înainte ca răspunsul problematic să apară

Pornind de la această observație, cercetătorii au derivat o ecuație care estimează ceea ce numesc „tipping point”, adică punctul în care competiția dintre diferite direcții ale atenției ar putea împinge modelul către un rezultat nedorit. Autorii susțin că principiul poate fi înțeles folosind matematică vectorială relativ elementară, chiar dacă operațiunile complete din interiorul unui model AI sunt mult mai complexe.

În loc să aștepte ca chatbotul să genereze deja un răspuns problematic și apoi să îl blocheze cu un filtru, un asemenea mecanism ar putea funcționa, teoretic, ca un sistem de avertizare timpurie. Dacă starea internă se apropie de regiunea asociată unor rezultate periculoase, sistemul ar putea interveni înainte ca răspunsul să ajungă la utilizator.

Johnson critică abordările care se bazează exclusiv pe filtre aplicate în jurul modelelor. El a comparat unele dintre actualele măsuri de siguranță cu niște perne amplasate sub un avion: pot reduce consecințele accidentului, dar nu împiedică neapărat accidentul să se producă. Afirmația este poziția cercetătorului, nu un consens privind eficiența actualelor sisteme de protecție.

În prezent, companiile folosesc mai multe niveluri de siguranță, de la antrenarea prin feedback uman și reguli de comportament până la clasificatoare și monitorizarea răspunsurilor. OpenAI, Anthropic și alte laboratoare încearcă în paralel să înțeleagă mai bine mecanismele interne ale modelelor, inclusiv prin cercetări de interpretabilitate. Problema a devenit și mai importantă odată cu apariția agenților AI capabili să execute acțiuni autonome, unde un răspuns greșit poate avea consecințe dincolo de fereastra unui chatbot.

Studiul are însă o limită importantă: nu a fost testat pe ChatGPT-ul actual

Titlul cercetării poate sugera o soluție universală pentru ChatGPT, Claude sau Gemini, dar studiul nu demonstrează încă acest lucru. Experimentele directe au fost realizate pe șapte modele cu greutăți deschise, cu dimensiuni cuprinse între 124 de milioane și 12 miliarde de parametri. Printre acestea s-au numărat GPT-2, mai multe variante Pythia de la EleutherAI și modele OPT de la Meta.

Autorii înșiși precizează că GPT-2 este un model de bază, nealiniat, și nu trebuie considerat reprezentativ pentru comportamentul de siguranță al asistenților moderni. Pentru sistemele comerciale actuale, ale căror stări interne nu sunt disponibile cercetătorilor, studiul a putut analiza doar dacă anumite tipare comportamentale sunt compatibile cu teoria, nu dacă formula prezice efectiv punctul exact în care acestea își vor schimba comportamentul.

Wei Xing, specialist în inteligență artificială la University of Sheffield și neimplicat în cercetare, a avertizat că modelul matematic simplifică extrem de mult sistemele analizate. El a comparat abordarea cu încercarea de a explica funcționarea unei mașini întregi studiind o singură bujie. Printre limitările semnalate se numără faptul că formula nu reproduce complet efectele antrenării moderne pentru siguranță și că sunt necesare teste mai ample pe modelele actuale.

Chiar studiul arată că mecanismul nu este încă un „detector de pericol” gata de instalat. Autorii spun că predicția valorii exacte a punctului critic necesită benchmark-uri mult mai mari și teste prospective pe conversații și modele nevăzute anterior. În experimentele prezentate, metoda a avut rezultate promițătoare pentru diferențierea situațiilor în care schimbarea apare imediat față de cele în care este întârziată sau nu apare, dar cercetătorii avertizează că valorile numerice obținute nu trebuie interpretate drept un cronometru precis al riscului.

Miza este cu atât mai mare pentru modelele AI care rulează local, fără conexiune la internet. Pe astfel de dispozitive nu există întotdeauna posibilitatea ca furnizorul să aplice în timp real filtre, actualizări sau sisteme externe de monitorizare. Dacă principiul descris de Johnson și Huo va putea fi confirmat și pe generațiile moderne de AI, un asemenea monitor intern ar putea deveni încă un strat de protecție, alături de mecanismele existente. Cercetarea vine într-o perioadă în care inclusiv marile companii tehnologice avertizează că mecanismele actuale de securitate trebuie să evolueze odată cu AI-ul.

Deocamdată, însă, formula nu poate spune că „ChatGPT va deveni periculos peste trei mesaje”. Ceea ce oferă este o ipoteză matematică despre un mecanism intern care ar putea ajuta la identificarea din timp a unor schimbări de comportament. Pentru a deveni un instrument real de siguranță, teoria trebuie confirmată pe sisteme mult mai apropiate de modelele AI pe care milioane de oameni le folosesc zilnic.