Supravegherea cu inteligență artificială în școli: de ce pot duce alertele automate la arestări pe nedrept

Sistemele de supraveghere bazate pe inteligență artificială au devenit omniprezente în societatea modernă, fiind utilizate pentru monitorizarea traficului, analiza comportamentului consumatorilor sau creșterea siguranței în spațiile publice.

În ultimii ani, aceste tehnologii au fost introduse tot mai frecvent și în școli, cu scopul declarat de a preveni violența și de a identifica din timp posibile amenințări. Totuși, specialiștii avertizează că această supraveghere digitală vine cu riscuri serioase.

O investigație recentă realizată de presa americană scoate la iveală o problemă majoră: sistemele de supraveghere cu AI generează un volum foarte mare de alerte, multe dintre ele fiind lipsite de relevanță reală.

Algoritmii sunt extrem de sensibili la anumite cuvinte sau expresii și pot interpreta greșit conversații banale, glume sau replici imature ca fiind semne de violență iminentă. Consecințele pot fi grave, mai ales în contextul unor legi stricte de raportare.

Alerte false și intervenții disproporționate ale autorităților

În mai multe districte școlare din Statele Unite, școlile folosesc programe de monitorizare care analizează automat e-mailuri, mesaje online sau documente redactate pe dispozitivele puse la dispoziție elevilor, scrie The Independent.

Un exemplu frecvent invocat este un instrument utilizat pentru detectarea discuțiilor despre violență, automutilare sau bullying.

Deși scopul este prevenția, rezultatele arată că o mare parte dintre alertele generate nu indică situații periculoase reale.

Vezi și:

Cum devii atât de bun la AI încât colegii vor crede că ești robot: șapte obiceiuri care îți schimbă munca de zi cu zi

AI-ul antrenat pe computer cuantic a trecut un test pe care modelul obișnuit l-a ratat: descoperirea care poate schimba viitorul inteligenței artificiale

Într-un district școlar din Kansas, de pildă, peste o mie de alerte au fost emise într-un interval mai mic de un an, însă majoritatea nu au necesitat intervenții reale.

Problema apare în statele unde legislația obligă școlile să raporteze orice semnal legat de violență, indiferent de context. În aceste cazuri, chiar și o alertă ambiguă poate declanșa implicarea poliției sau a serviciilor de sănătate mintală.

În Florida, un astfel de sistem a dus, de-a lungul câtorva ani, la arestarea a zeci de elevi, unii dintre ei fiind supuși unor evaluări psihologice involuntare.

Avocați și organizații pentru drepturile civile atrag atenția că aceste experiențe sunt adesea traumatizante pentru copii și adolescenți și pot avea efecte negative pe termen lung, fără a exista dovezi clare că sporesc siguranța în școli.

Lipsa contextului, marea slăbiciune a supravegherii cu AI

Cea mai mare problemă a acestor sisteme este incapacitatea lor de a înțelege contextul. Algoritmii analizează cuvinte-cheie, nu intenții.

O replică ironică, o glumă de prost gust sau o reacție impulsivă specifică vârstei pot fi interpretate drept amenințări serioase.

În unele cazuri, elevii nici măcar nu știu că activitatea lor online este monitorizată constant, ceea ce ridică și probleme de transparență și drept la viață privată.

Experții în educație și psihologie subliniază că trecerea prin sistemul de detenție juvenilă, chiar și pentru perioade scurte, este asociată cu rezultate mai slabe în viața adultă.

Statistic, tinerii care au fost reținuți au șanse mai mici de angajare stabilă și un risc mai mare de a avea probleme de sănătate sau de a intra din nou în conflict cu legea.

În ciuda acestor riscuri, unii administratori școlari consideră că utilizarea supravegherii cu AI este un compromis acceptabil pentru prevenirea unor tragedii.

Totuși, criticii susțin că, în lipsa unor dovezi solide privind eficiența reală a acestor tehnologii, costurile sociale și umane sunt prea mari.

Dezbaterea rămâne deschisă, iar cazul supravegherii cu inteligență artificială în școli ridică întrebări esențiale despre limitele tehnologiei și responsabilitatea utilizării ei

Bitcoin se prăbușește, iar piața cripto pierde trilioane de dolari. Legătura cu febra AI