Anthropic, în centrul unei controverse după descoperirea unui mecanism ascuns în Claude Code. Compania spune că a fost doar un experiment
Anthropic, compania din spatele chatbotului Claude, este criticată după ce un cercetător în securitate a descoperit un mecanism ascuns în aplicația Claude Code, despre care susține că putea identifica discret anumiți utilizatori. Descoperirea a stârnit reacții puternice în comunitatea dezvoltatorilor, mai ales pentru că Anthropic și-a construit imaginea în jurul ideii de protejare a vieții private și s-a poziționat în repetate rânduri împotriva supravegherii utilizatorilor.
Compania a eliminat rapid funcția după ce aceasta a fost făcută publică, explicând că era vorba despre un experiment intern destinat combaterii abuzurilor și protejării modelelor sale de inteligență artificială împotriva tentativelor de copiere. Explicația nu i-a convins însă pe toți, iar cazul a redeschis discuția despre cât de departe pot merge dezvoltatorii de AI în monitorizarea utilizatorilor, scrie Ars Technica.
Codul ascuns ar fi identificat utilizatori din China fără să le spună acest lucru
Controversa a pornit după ce un dezvoltator cunoscut online sub numele Thereallo a analizat funcționarea Claude Code din perspectiva protecției datelor. În timpul cercetării, acesta a observat un mecanism ascuns în prompturile interne ale aplicației, conceput pentru a transmite către Anthropic anumite informații despre utilizator.
Potrivit cercetătorului, sistemul folosea o metodă discretă de marcare a datelor, fără notificarea utilizatorului. Printre informațiile care puteau fi deduse se numărau fusul orar, utilizarea unui server proxy și indicii care ar fi sugerat o posibilă legătură cu laboratoare chineze implicate în dezvoltarea de modele de inteligență artificială.
Ulterior, un inginer Anthropic, Thariq Shihipar, a confirmat că mecanismul fusese introdus în luna martie ca experiment. Potrivit acestuia, scopul era identificarea conturilor folosite prin intermediul revânzătorilor neautorizați și limitarea atacurilor de tip „distillation”, metoda prin care un model AI este utilizat intensiv pentru a antrena un alt model concurent.
Reprezentantul companiei a susținut că funcția urma oricum să fie eliminată, deoarece între timp au fost dezvoltate metode mai eficiente pentru prevenirea acestor practici.
Cu toate acestea, specialiștii în protecția vieții private consideră că problema nu este scopul urmărit, ci lipsa transparenței. În opinia lor, dacă Anthropic dorea să colecteze astfel de informații, ar fi trebuit să informeze clar utilizatorii și să documenteze funcționarea mecanismului în loc să îl ascundă în prompturile interne.
Disputa apare în plin conflict dintre companiile americane și rivalii din China
Incidentul are loc într-un moment tensionat pentru industria inteligenței artificiale. În ultimele luni, Anthropic și alte companii americane au acuzat dezvoltatorii chinezi că folosesc tehnici de „distillation” pentru a reproduce performanțele modelelor occidentale într-un timp foarte scurt.
Compania susține că astfel de practici afectează investițiile făcute în dezvoltarea inteligenței artificiale și încearcă să convingă autoritățile americane să trateze aceste acțiuni drept încălcări ale proprietății intelectuale. Anthropic și OpenAI au cerut deja adoptarea unor măsuri legislative mai dure împotriva acestui tip de activitate.
În paralel, presa americană a relatat că modelele dezvoltate în China au recuperat rapid diferența față de rivalii din Statele Unite. Unele teste recente arată chiar că anumite modele chinezești reușesc să depășească soluții dezvoltate de companiile americane în sarcini specifice, inclusiv identificarea vulnerabilităților informatice.
Descoperirea mecanismului din Claude Code a avut deja consecințe concrete. Potrivit publicației South China Morning Post, Alibaba a interzis angajaților utilizarea Claude Code în activitatea profesională, invocând riscuri de securitate și informațiile apărute despre funcția de monitorizare.
Decizia vine pe fondul tensiunilor tot mai mari dintre companiile americane și cele chineze din domeniul inteligenței artificiale, fiecare încercând să își protejeze modelele și avantajul tehnologic.
Pentru Anthropic, însă, miza este și una de imagine. Compania s-a remarcat până acum prin poziții ferme în favoarea confidențialității utilizatorilor, inclusiv prin refuzul de a permite utilizarea chatbotului Claude pentru supravegherea cetățenilor americani. Tocmai de aceea, existența unui mecanism ascuns de colectare a unor informații despre utilizatori a fost privită de mulți dezvoltatori ca o contradicție între mesajul public al companiei și modul în care aceasta a ales să implementeze experimentul.