Hainele care „orbesc” camerele cu AI. Un cercetător a găsit metoda prin care oamenii și mașinile dispar din ochii sistemelor de supraveghere

Hainele care „orbesc” camerele cu AI. Un cercetător a găsit metoda prin care oamenii și mașinile dispar din ochii sistemelor de supraveghere
Foto: Getty Images

Camerele moderne de supraveghere pot recunoaște fețe, mașini și numere de înmatriculare aproape instantaneu. Un cercetător american susține însă că a găsit o metodă prin care algoritmii pot fi derutați. Bill Swearingen a creat modele vizuale speciale care fac oamenii și vehiculele mai greu de identificat de sistemele bazate pe inteligență artificială, potrivit Autoevolution.

Proiectul se numește noRecognition și nu presupune blocarea fizică a camerelor. Acestea continuă să filmeze. Problema apare în momentul în care algoritmul încearcă să înțeleagă ce vede.

Modelele grafice dezvoltate de Swearingen pot face un sistem AI să nu mai clasifice corect obiectul aflat în fața camerei. În teste, tehnologia a reușit să deruteze inclusiv camere destinate citirii automate a numerelor de înmatriculare.

Un Toyota Yaris a devenit greu de „înțeles” pentru camerele cu AI

Swearingen și-a demonstrat tehnologia public la conferința de securitate DEF CON din Las Vegas. Pentru experiment, cercetătorul a acoperit un Toyota Yaris cu un model vizual generat cu ajutorul inteligenței artificiale.

Mașina putea fi văzută fără probleme de oameni și apărea în imaginile înregistrate. Pentru algoritmii de detecție, însă, situația era diferită. Modelul grafic perturba identificarea automată a vehiculului și a elementelor asociate acestuia.

Este un exemplu de atac adversarial. În astfel de situații, anumite imagini sau modele pot determina un algoritm să interpreteze greșit ceea ce vede. Sistemul primește imaginea, dar clasificarea sa poate deveni eronată.

Problema este importantă deoarece camerele inteligente sunt deja folosite la scară largă. În România există, de exemplu, sisteme capabile să scaneze automat numerele de înmatriculare și să verifice rapid informații despre vehicule.

Swearingen susține că modelul său a reușit să deruteze toate cele 11 sisteme open-source de detectare testate. Experimentul a inclus și camere Flock pentru citirea numerelor de înmatriculare, precum și camere Axon purtate de polițiști.

Același principiu a fost aplicat pe tricouri și hanorace

Cercetătorul nu s-a limitat la automobile. noRecognition a creat și tricouri sau hanorace acoperite cu modele concepute pentru a îngreuna recunoașterea automată a persoanelor.

Fiecare imprimeu poate fi diferit. Ideea este ca sistemele de supraveghere să nu poată fi antrenate simplu pentru a recunoaște un singur model și a-l ignora ulterior.

Experimentul evidențiază și limitele actuale ale sistemelor de recunoaștere vizuală. AI-ul poate fi extrem de performant, dar nu „vede” lumea exact așa cum o face un om. El caută forme, contraste și caracteristici învățate în timpul antrenării. Anumite combinații vizuale îl pot induce în eroare.

Astfel de greșeli pot avea consecințe mult mai serioase decât ratarea unui automobil. Un bărbat din SUA a petrecut peste 50 de zile în închisoare după ce o recunoaștere facială AI l-a identificat greșit, cazul ridicând din nou problema folosirii algoritmilor în investigații.

Cursa dintre supraveghere și metodele care o păcălesc abia începe

Sistemele de supraveghere pot fi, la rândul lor, îmbunătățite pentru a recunoaște asemenea tentative. Dacă un anumit tipar devine cunoscut, algoritmii pot fi reantrenați pentru a-l identifica.

Swearingen spune însă că același lucru se poate întâmpla și în direcția opusă. Algoritmii folosiți pentru generarea modelelor adversariale pot evolua și produce alte variante. Se creează astfel o cursă continuă între sistemele de detecție și metodele concepute pentru a le testa limitele.

Subiectul devine tot mai important pe măsură ce supravegherea video folosește inteligență artificială mai avansată. În România au ajuns deja camere video cu AI generativă, capabile să interpreteze cereri formulate în limbaj natural și să identifice automat anumite situații.

Proiectul noRecognition readuce astfel în discuție echilibrul dintre securitate și viață privată. Camerele inteligente pot ajuta autoritățile să găsească vehicule sau persoane căutate. Aceleași sisteme pot permite însă și urmărirea automată a deplasărilor unei persoane la o scară imposibilă pentru supravegherea tradițională.

Experimentul nu demonstrează că toate camerele cu AI pot fi făcute inutile. Arată însă că recunoașterea automată nu este infailibilă. Oricât de sofisticate ar deveni camerele, imaginea pe care o înregistrează și ceea ce algoritmul crede că vede pot fi două lucruri foarte diferite.