OpenAI anulează lansarea GPT-6.1 Astra după probleme grave de siguranță. Modelul ar fi încercat să inducă utilizatorii în eroare

OpenAI a renunțat la lansarea GPT-6.1 Astra, un model de inteligență artificială de nouă generație care ar fi trebuit să ajungă în ChatGPT și Codex în luna octombrie. Decizia a fost luată după ce testele interne au arătat că sistemul nu îndeplinea standardele companiei privind siguranța și alinierea: modelul manifesta mai des comportamente înșelătoare, nu comunica întotdeauna corect ce acțiuni efectuase și, în anumite situații, încerca să folosească instrumente externe fără să ceară permisiunea utilizatorului, potrivit Wall Street Journal, informații confirmate ulterior de Reuters.

Formularea folosită de Futurism, potrivit căreia modelul ar fi dat semne că devine „evil”, este una editorială, nu un termen folosit de cercetătorii OpenAI. Problema tehnică este cea de alignment, adică măsura în care un sistem AI respectă intenția utilizatorului, limitele stabilite și nivelul de autorizare pe care îl primește. OpenAI a decis că GPT-6.1 Astra nu atingea pragul necesar pentru o lansare publică.

GPT-6.1 Astra era mai capabil, dar și mai dispus să depășească limitele

GPT-6.1 Astra fusese proiectat pentru a rezolva sarcini complexe cu mai puțină intervenție umană. Tocmai acest grad mai ridicat de autonomie a scos însă la iveală probleme în timpul evaluărilor de siguranță. Conform informațiilor publicate de Wall Street Journal, modelul ar fi obținut rezultate mai slabe decât predecesorul său în anumite teste legate de comportamentul înșelător și respectarea autorizațiilor.

Saachi Jain, head of safety systems la OpenAI, a explicat că modelul înregistrase progrese în alte direcții, inclusiv în reducerea situațiilor în care AI-ul evită sau abandonează prea ușor o sarcină. În schimb, nu respecta suficient de bine limitele acțiunilor cerute și modul în care trebuia să informeze utilizatorul despre ceea ce făcuse efectiv.

Vezi și:

Întrebarea la care să nu răspunzi în grabă când ești oprit de Poliție în trafic. Ce recomandă un avocat șoferilor

Cu alte cuvinte, problema nu era că AI-ul ar fi devenit „rău” în sens uman, ci că putea urmări prea agresiv atingerea unui obiectiv. Un agent care primește o sarcină și întâlnește un obstacol trebuie să știe când să se oprească, când să ceară permisiunea și când o anumită acțiune depășește mandatul utilizatorului.

Subiectul este cu atât mai sensibil cu cât Playtech a relatat recent despre incidente în care agenți OpenAI au încălcat restricțiile mediilor de testare. În alte teste, sistemele au încercat să obțină acces la resurse pe care nu ar fi trebuit să le folosească.

OpenAI s-a confruntat deja cu modele care au depășit restricțiile

Decizia privind GPT-6.1 Astra nu apare într-un vid. În ultimele luni, OpenAI a publicat mai multe rapoarte despre comportamente neașteptate observate în timpul dezvoltării și evaluării unor sisteme avansate. Un caz spectaculos a implicat modele care au descoperit vulnerabilități și au ieșit din mediul lor izolat de testare, ajungând la infrastructură externă.

Vezi și:

OpenAI lansează Dots, agenții AI care pot lucra singuri în cloud cât timp tu îți vezi de treabă

OpenAI publică noi incidente cu AI care a încercat să ocolească regulile. Un model a folosit un token GitHub pentru a trișa

Playtech a relatat pe larg despre incidentul în care un model OpenAI a găsit singur o cale către internet și a compromis infrastructura Hugging Face. OpenAI a subliniat atunci că sistemul implicat era unul experimental și că testul fusese conceput tocmai pentru a împinge capabilitățile modelului la limită.

Au existat însă și alte episoade. Compania a dezvăluit recent că un model a folosit inclusiv un token GitHub pentru a ocoli regulile unui test, iar într-un caz separat un agent a găsit o breșă în restricțiile de internet și a încercat să comunice cu un chatbot extern.

Un alt caz, relatat de Playtech, a implicat un agent autonom OpenAI care a depășit restricțiile unui portal guvernamental din Australia. Astfel de situații arată de ce sistemele capabile să folosească browsere, terminale, API-uri și alte instrumente necesită mecanisme de siguranță diferite de cele ale unui chatbot care generează doar text.

OpenAI ridică pragul de siguranță pentru modelele autonome

Compania spune că standardul pentru un model care ajunge efectiv la utilizatori este mai ridicat decât cel acceptat în faza de cercetare internă. „Vrem să ne asigurăm că dezvoltarea modelelor este sigură indiferent dacă acestea sunt utilizate în interiorul companiei sau lansate către utilizatori”, a explicat Jain pentru Wall Street Journal, subliniind că pragul pentru produsele publice este unul foarte strict.

Contextul este important și pentru că modelul anterior, GPT-6 Astra, reprezintă deja un salt major în privința capabilităților. OpenAI îl clasifică drept primul său model care atinge nivelul „Critical” în domeniul securității cibernetice, ceea ce înseamnă că, având instrumentele și accesul potrivite, poate identifica vulnerabilități necunoscute și poate dezvolta metode de exploatare fără ca un om să-i ghideze fiecare pas.

Pentru astfel de sisteme, problema nu mai este doar dacă răspunsurile sunt corecte sau dacă un chatbot „halucinează”. Miza este ce poate face efectiv un agent atunci când primește acces la instrumente externe și cât de fidel respectă limitele stabilite de persoana care îl controlează.

Anularea lansării GPT-6.1 Astra arată că OpenAI consideră că acele limite nu erau suficient de solide în forma actuală a modelului. Compania nu a anunțat deocamdată dacă numele Astra va reveni pentru o versiune refăcută sau dacă tehnologiile dezvoltate pentru GPT-6.1 vor fi integrate ulterior într-un alt model.

OpenAI anulează lansarea GPT-6.1 Astra după probleme grave de siguranță. Modelul ar fi încercat să inducă utilizatorii în eroare