AI-ul care trebuia să zguduie securitatea cibernetică a găsit doar o breșă minoră: creatorul cURL demontează hype-ul Anthropic Mythos

Anthropic a prezentat Mythos ca pe un model AI atât de capabil în găsirea vulnerabilităților de securitate, încât nu ar trebui lansat public fără restricții. Promisiunea era una spectaculoasă: un instrument de analiză capabil să descopere probleme serioase în cod, inclusiv breșe greu de identificat de cercetătorii obișnuiți. Doar că primul contact important cu un proiect open-source uriaș a produs un rezultat mult mai modest decât sugera aura creată în jurul său.

Daniel Stenberg, creatorul cURL, unul dintre cele mai folosite proiecte open-source din lume, a povestit că Mythos a fost rulat pe baza de cod a proiectului său. Concluzia lui a fost tranșantă: modelul a găsit o singură vulnerabilitate reală, de severitate scăzută, iar restul rezultatului nu justifică discursul grandios construit de Anthropic. În opinia lui Stenberg, Mythos pare mai degrabă o reușită de marketing decât o revoluție în securitatea software.

Promisiuni mari, rezultate mici

Stenberg a explicat că ar fi trebuit să primească acces la Mythos prin programul Project Glasswing, derulat de Anthropic și orientat către proiecte open-source importante. În practică, el nu a primit acces direct la model. În schimb, cineva care avea deja acces a rulat analiza pe codul cURL și i-a trimis ulterior raportul.

Raportul inițial indica cinci presupuse vulnerabilități de securitate confirmate. Pentru un model prezentat drept extrem de avansat, lista părea surprinzător de scurtă. După câteva ore de analiză împreună cu echipa de securitate cURL, concluzia a fost și mai puțin spectaculoasă: doar una dintre cele cinci probleme era într-adevăr o vulnerabilitate.

Vezi și:

7 semne că un anunț de cazare de pe Booking ar putea fi fals. Ce trebuie să verifici înainte să plătești

Celelalte patru cazuri nu au rezistat verificării. Trei erau false pozitive, legate de limitări deja documentate în API, iar al patrulea a fost considerat un bug simplu, nu o problemă de securitate. Vulnerabilitatea reală va primi un CVE de severitate scăzută și ar urma să fie publicată odată cu următoarea versiune cURL, 8.21.0, planificată pentru finalul lunii iunie.

Stenberg a remarcat că problema identificată nu este una care să provoace panică. Formularea lui a fost clară: breșa nu este de genul care să lase pe cineva fără aer. Altfel spus, Mythos a găsit ceva util, dar nu ceva care să confirme imaginea unui instrument capabil să schimbe radical regulile jocului.

De ce cURL este un test dificil pentru orice AI

cURL nu este un proiect oarecare. Este folosit de aproape trei decenii, integrat în numeroase sisteme, aplicații și infrastructuri, iar codul său a fost analizat constant cu instrumente de securitate, fuzzing și scanere statice. Echipa din jurul proiectului este obișnuită cu testele dure și cu rapoartele venite din multe direcții.

Vezi și:

Cum devii atât de bun la AI încât colegii vor crede că ești robot: șapte obiceiuri care îți schimbă munca de zi cu zi

AI-ul antrenat pe computer cuantic a trecut un test pe care modelul obișnuit l-a ratat: descoperirea care poate schimba viitorul inteligenței artificiale

În ultimele luni, cURL a fost analizat și cu alte instrumente bazate pe AI, precum AISLE, Zeropath și OpenAI Codex Security. Potrivit lui Stenberg, aceste unelte au contribuit la sute de corecturi de buguri în ultimele opt-zece luni, iar unele dintre descoperiri au fost vulnerabilități reale publicate ulterior ca CVE-uri.

Tocmai de aceea, cURL este un teren bun pentru evaluarea reală a Mythos. Dacă un model este prezentat ca fiind mult peste alte soluții AI, ar trebui să arate acest avantaj pe un proiect matur, intens verificat și cu o istorie lungă de analiză de securitate. În cazul de față, Stenberg spune că nu a văzut dovezi că Mythos găsește probleme într-un mod semnificativ mai avansat decât instrumentele deja folosite.

Asta nu înseamnă că rezultatele au fost inutile. Mythos a identificat și câteva buguri non-securitate, iar explicațiile oferite au fost considerate bine redactate. Dar diferența dintre „un instrument util” și „un model care poate răsturna domeniul securității cibernetice” este uriașă.

AI-ul ajută, dar nu înlocuiește cercetătorii

Stenberg nu respinge utilitatea inteligenței artificiale în securitatea software. Dimpotrivă, el consideră că analizatoarele de cod bazate pe AI sunt mult mai bune decât instrumentele tradiționale mai vechi în detectarea unor greșeli și vulnerabilități. Problema este alta: aproape toate modelele moderne sunt deja bune la acest tip de analiză, iar Mythos nu pare să iasă radical din pluton.

Una dintre observațiile sale cele mai importante este că AI-ul găsește, în general, tipuri de erori deja cunoscute. Modelele identifică noi instanțe ale unor probleme familiare, dar nu par să descopere categorii complet noi de vulnerabilități. Cu alte cuvinte, ele amplifică munca umană, dar nu demonstrează încă acel tip de creativitate tehnică prin care să inventeze un nou mod de a privi securitatea codului.

Stenberg a avut deja experiențe neplăcute cu valul de rapoarte generate de AI. La începutul anului, a închis programul de bug bounty al cURL după ce a primit prea multe raportări slabe, consumatoare de timp și lipsite de valoare reală. Totuși, el recunoaște că cercetătorii care folosesc AI cu discernământ pot produce rapoarte bune.

Concluzia este una echilibrată, dar dură pentru Anthropic: Mythos poate fi util, însă hype-ul a depășit realitatea. AI-ul va deveni tot mai important în securitatea software, dar cele mai bune rezultate vor veni tot de la oameni care știu ce caută, cum să întrebe modelul și cum să verifice răspunsurile. Critica rămâne esențială. Nu poți delega gândirea unui bot și să te aștepți ca el să facă singur revoluția.

Cum faci un cocktail clasic cu whiskey de secară și cognac – Vieux Carré spune o poveste de aproape 90 de ani