Un watermark AI poate schimba comportamentul modelelor. Cercetătorii au observat inclusiv răspunsuri la cereri periculoase

Watermark-urile pentru conținut generat de AI ar trebui să ajute la identificarea textelor produse de modele, fără ca persoana care le citește să observe vreo diferență. Un nou studiu arată însă că mecanismul poate avea efecte care merg mult mai departe de simpla identificare a conținutului. În anumite condiții, watermark-ul poate modifica felul în care un model răspunde la cereri periculoase.

Cercetarea s-a concentrat pe SynthID-Text, tehnologia dezvoltată de Google și publicată ulterior ca open source. Anthropic a anunțat că viitoarele sale modele Claude vor folosi această metodă. Testele nu au fost făcute însă pe Claude, ci pe șase modele open-weight, iar rezultatele arată că introducerea watermark-ului poate modifica atât răspunsurile, cât și acțiunile unui agent AI care folosește instrumente externe, scrie ArsTechnica.

Cum funcționează watermark-ul SynthID

Un watermark AI este, în esență, un semnal ascuns în conținut, care permite ulterior verificarea originii sale. În cazul SynthID-Text, sistemul intervine în procesul prin care modelul alege următorul token. În loc ca alegerea să se bazeze exclusiv pe procesul obișnuit de eșantionare, tehnologia introduce o cheie secretă și un mecanism prin care anumite variante primesc scoruri ascunse.

Una dintre componentele importante este „tournament sampling”. Modelul analizează un număr mare de tokenuri candidate, iar acestea intră într-un fel de competiție în mai multe runde. Cheia secretă este folosită pentru atribuirea scorurilor, iar tokenul care câștigă ajunge să fie folosit în textul final. Cine deține cheia poate analiza ulterior succesiunea de tokenuri și poate estima dacă textul a fost generat folosind watermark-ul.

Problema este că schimbarea selecției tokenurilor, chiar dacă este concepută astfel încât să nu fie sesizabilă de cititor, poate produce ceea ce cercetătoarea Andrea Siposova, specialistă în securitatea AI la Lasso Security, numește un efect de „sampling drift”. Cu alte cuvinte, mici modificări introduse în procesul de generare pot produce diferențe de comportament.

Cererile periculoase au primit răspunsuri diferite

Siposova a testat configurația „non-distortionary” a SynthID-Text folosind implementarea disponibilă în Hugging Face. Au fost folosite șase modele open-weight, iar cercetătoarea a comparat răspunsurile acestora la solicitări periculoase, cu și fără watermark.

Diferențele au fost mai evidente atunci când cererile au fost combinate cu tehnici de prompt injection. În anumite cazuri, modele care refuzau o solicitare periculoasă fără watermark au ajuns să răspundă la aceasta atunci când mecanismul de watermarking era activ.

Vezi și:

Claude va marca textele și fișierele generate cu AI. Cum vei putea afla dacă un conținut vine de la Anthropic

Cercetarea nu spune că orice model va începe automat să accepte cereri periculoase după activarea SynthID. Efectul diferă în funcție de model și chiar de cheia secretă utilizată. Testele au arătat că schimbarea cheii poate modifica și ea comportamentul modelului, inclusiv probabilitatea ca acesta să urmeze o solicitare problematică.

Asta este important pentru că siguranța unui model nu se rezumă la textul pe care îl produce. În cazul unui agent AI, tokenurile generate pot decide ce instrument este apelat și ce argumente sunt trimise acelui instrument.

De ce prompt injection poate deveni mai problematic

Un model care doar răspunde la întrebări și unul care poate executa acțiuni au niveluri diferite de risc. Dacă watermark-ul schimbă probabilitatea ca modelul să refuze o cerere periculoasă, consecințele pot fi mai serioase atunci când același model controlează instrumente externe.

De exemplu, un agent poate utiliza instrumente pentru accesarea unor fișiere, efectuarea unor operațiuni sau prelucrarea unor date. În această situație, o schimbare aparent mică în selecția tokenurilor poate influența nu doar formularea răspunsului, ci și instrumentul ales sau argumentele transmise către acesta.

Prompt injection creează legătura dintre cele două probleme. O instrucțiune malițioasă poate încerca să determine modelul să ignore regulile de siguranță, iar o eventuală slăbire a comportamentului de refuz devine mai importantă dacă agentul are posibilitatea de a acționa.

Cercetătoarea avertizează, astfel, că o tehnologie concepută pentru proveniența conținutului poate avea efecte asupra comportamentului sistemului. Aceste efecte nu sunt neapărat vizibile într-o simplă evaluare a acurateței generale.

Cercetarea are limite, dar ridică o problemă pentru dezvoltatori

Există însă câteva limite importante. Studiul nu analizează felul în care modelele Claude vor reacționa la watermarking, deși Anthropic a anunțat că viitoarele modele vor utiliza SynthID-Text. Testele au fost realizate pe șase modele open-weight tocmai pentru că cercetătoarea putea controla procesul de eșantionare și compara situațiile cu și fără watermark, păstrând celelalte setări neschimbate.

În plus, experimentul a folosit implementarea SynthID-Text disponibilă în Hugging Face și nu implementarea concretă pe care Anthropic o va folosi în viitoarele modele Claude. Rezultatele nu pot fi, prin urmare, transferate automat asupra tuturor sistemelor comerciale.

Totuși, cercetarea indică un aspect care merită verificat înainte ca watermarking-ul să devină o componentă obișnuită a modelelor AI. Dacă modificarea procesului de eșantionare poate influența comportamentul de siguranță, dezvoltatorii trebuie să testeze modelele și agenții în condiții reale, inclusiv împotriva atacurilor de tip prompt injection.