Cum poți „auzi” o fotografie. Metoda inedită a oamenilor de știință de a extrage sunet dintr-o imagine

Cercetătorii au găsit o modalitate de a extrage conținut audio din imagini statice și videoclipuri fără sunet.

Ei s-au simțit inspirați de la un personaj din serialul Fringe, în care un agent FBI a reușit să extragă sunete dintr-un geam de sticlă topit. Totuși, unii s-au grăbit să numească această ideea o „tehnică de pseudo-știință ridicola”.

Vezi și: Inteligența artificială poate traduce cotcodăcitul găinilor. Cum este posibil, ce perspective de comunicare se deschid

Metoda de a scoate sunet dintr-o imagine ar putea fi revoluționară

Cu toate acestea, profesorul de inginerie electrică și informatică de la Universitatea Northeastern, Kevin Fu, a studiat fenomenul și a vrut să demonstreze că extragerea sunetului din imagini și videoclipuri fără sunet este posibilă.

„Imaginați-vă că cineva face un videoclip TikTok și îl dezactivează sunetul”, a spus Fu într-un comunicat de presă. „Ai fost vreodată curios să afli ce spun ei cu adevărat?”, a mai spus acesta.

Practic, toate telefoanele cu cameră au tehnologia de stabilizare a imaginii încorporată. Arcurile țin obiectivul camerei suspendat în lichid, în timp ce un electromagnet împinge obiectivul camerei pentru a reduce tremuratul camerei.

Aceasta este o caracteristică interesantă fiindcă permite capturarea sunetului. Pe măsură ce cineva sau ceva face un zgomot lângă obiectivul camerei, arcurile vibrează ușor și îndoaie lumina.

Vezi și: Cum ascunzi notificările de pe telefon de străini, doar pentru tine. Funcția utilă de pe iPhone

Inteligența artificială ar putea da o mână de ajutor

Folosind aceste informații este posibil să extragi sunet destul de înfundat din aproape orice fotografie care conține lumină. Aplicând un algoritm de învățare automată numit Side Eye, lucrurile se simplifică.

Testându-și sistemul pe 10 smartphone-uri diferite, echipa condusă de Fu a descoperit că poate recunoaște cifrele rostite cu o precizie de 80,66%, poate identifica care dintre cei 20 de vorbitori a spus cuvintele cu o acuratețe de 91,28% și poate ghici sexul vorbitorilor cu o acuratețe de 99,67%.

Acest lucru ar putea fi, desigur, un coșmar pentru securitatea cibernetică, fiindcă asta ar însemna că nu mai ești în siguranță nici măcar atunci când faci o fotografie.

Vezi și: Funcția iOS care te ajută să scapi de stres: Cum activezi sunetele de fundal