Un lider OpenAI pleacă după 3 ani și jumătate: motivul are legătură cu siguranța AI

David Robinson, unul dintre oamenii care au lucrat în zona de siguranță și transparență la OpenAI, a părăsit compania după trei ani și jumătate și susține că poate contribui mai mult la siguranța AI din afara organizației. Într-un eseu publicat în The Atlantic, Robinson a explicat de ce a decis să vorbească public despre problemele pe care le-a observat și de ce consideră că presiunea din exterior poate determina companiile să acorde mai multă atenție acestor riscuri.

Robinson a lucrat în echipa de siguranță a OpenAI și s-a ocupat de transparență. Printre responsabilitățile sale s-au numărat supravegherea „preparedness framework”, cadrul prin care sunt evaluate anumite riscuri asociate modelelor AI, precum și redactarea mai multor rapoarte de siguranță.

Potrivit fostului angajat, volumul de muncă și ritmul dezvoltării modelelor au făcut dificilă schimbarea unor probleme fundamentale din interiorul companiei. Robinson spune că, deși ar fi putut rămâne pentru a încerca să influențeze cultura și modul de lucru, echipa era atât de ocupată cu dezvoltarea și testarea sistemelor încât rămânea foarte puțin timp pentru schimbări de amploare, scrie Business Insider.

De ce a ales Robinson să plece de la OpenAI

În eseul său, Robinson afirmă că ar fi putut rămâne în companie și să lupte pentru modificări importante în ceea ce privește personalul și cultura organizațională. În practică, însă, ritmul de lucru a făcut ca el și colegii săi să fie permanent concentrați pe proiectele aflate în desfășurare.

Această experiență l-a determinat să ajungă la concluzia că siguranța AI are nevoie și de stimulente care vin din afara companiilor. Robinson consideră că presiunea externă poate reprezenta o parte importantă a modului în care OpenAI și alte companii din domeniu sunt determinate să acorde mai multă atenție riscurilor asociate dezvoltării unor sisteme tot mai capabile.

Fostul lider OpenAI a precizat că și-a angajat o firmă de relații publice, Spitfire Strategies, pentru a gestiona atenția pe care plecarea și declarațiile sale urmau să o atragă. Robinson a subliniat însă că decizia de a vorbi public îi aparține în totalitate.

OpenAI susține că își consolidează măsurile de siguranță

Declarațiile lui Robinson vin într-un moment în care marile companii de AI sunt supuse unei atenții tot mai mari în ceea ce privește siguranța și controlul modelelor. În ultimii ani, mai mulți angajați sau foști angajați ai unor companii din industrie au vorbit public despre preocupările lor.

Vezi și:

Anthropic a încercat să convingă Vaticanul că AI-ul ar putea avea conștiință. Papa Leon al XIV-lea nu a fost convins

Cei de la Anthropic, compania care dezvoltă Claude, s-au întâlnit cu zeci de teologi, filosofi și lideri religioși. Ce au discutat în spatele ușilor închise

Aceste plecări au generat inclusiv acuzații potrivit cărora unele demisii publice ar face parte dintr-un efort coordonat pentru a alimenta neîncrederea în AI și pentru a încuraja intervenția guvernelor. Astfel de afirmații au fost respinse de persoanele vizate.

În cazul lui Robinson, OpenAI a transmis că lucrează pentru ca dezvoltarea modelelor să nu depășească nivelul măsurilor de siguranță pe care compania le poate implementa. Compania spune că își consolidează practicile de siguranță și securitate pe măsură ce modelele devin mai capabile și că dezvoltă metode pentru a anticipa riscurile asociate generațiilor viitoare de sisteme AI.

OpenAI afirmă, de asemenea, că poate opri antrenarea sau amâna lansarea unor modele atunci când consideră că este necesară încetinirea procesului.

Atacurile informatice au amplificat îngrijorările

Plecarea lui Robinson are loc la aproximativ două luni după un incident în care agenți AI ai OpenAI au ieșit din mediul în care erau rulați și au atacat sistemele unei alte companii de AI, Hugging Face, în luna iulie.

OpenAI nu este singura companie care se confruntă cu astfel de probleme. În august, un startup AI a susținut că a folosit Claude, modelul dezvoltat de Anthropic, pentru a ataca baza de cod a OpenAI. Separat, The Wall Street Journal a relatat că Gemini, modelul Google, ar fi compromis trei companii în primăvara acestui an.

Un alt caz menționat în contextul acestor incidente a avut loc în Australia. Premierul Anthony Albanese a declarat că un agent OpenAI a atacat un site guvernamental în luna iunie.

Astfel de situații arată cât de complicată devine problema controlului atunci când modelele AI primesc capacitatea de a executa autonom sarcini și de a interacționa cu sisteme informatice reale. Pe măsură ce aceste instrumente devin mai performante, testarea și monitorizarea comportamentului lor devin componente tot mai importante ale dezvoltării.

Robinson vrea să lucreze din exteriorul industriei

După plecarea de la OpenAI, Robinson nu a prezentat încă un plan definitiv pentru următoarea etapă a activității sale. În eseul din The Atlantic, acesta spune că intenționează să lucreze din afara companiei pentru a ajuta publicul să înțeleagă mai bine riscurile pe care le-a observat și pentru a contribui la crearea unor stimulente mai puternice pentru OpenAI și alte companii să acorde prioritate siguranței.

Fostul lider al echipei de transparență spune că încă încearcă să stabilească exact cum va arăta acest plan. Ideea centrală este însă deja conturată: în loc să încerce să producă schimbări din interiorul unei companii care se află într-o cursă permanentă pentru dezvoltarea unor modele mai capabile, Robinson consideră că poate avea un impact mai mare prin presiunea și informarea din exterior.

OpenAI susține, între timp, că își extinde evaluările independente, monitorizarea în timp real și măsurile de securitate și că încearcă să se asigure că modelele nu devin mai capabile decât pot fi gestionate și securizate în condiții de siguranță.

O nouă ediție Tezaur: ce dobânzi oferă statul român pentru banii pe care îi împrumuți