O metodă inspirată de o idee veche de 300 de ani ar putea ajuta roboții să învețe din greșeli
O nouă tehnică dezvoltată de cercetători în domeniul AI ar putea îmbunătăți modul în care roboții anticipează mișcarea obiectelor și reacționează la situații neprevăzute. Metoda îi ajută să estimeze ce s-ar fi întâmplat dacă ar fi ales o altă acțiune, folosind diferența dintre rezultatul anticipat și cel observat în realitate. Ideea pornește de la un principiu formulat de filosoful Gottfried Leibniz în urmă cu aproximativ trei secole: natura nu face salturi.
Cercetarea, intitulată „Counterfactual World Models: Natura Non Facit Saltus”, îi are ca autori pe Randall Balestriero de la Brown University și AMI Labs, Kerda Varaku și Yann LeCun, laureat al Premiului Turing și cercetător la NYU și AMI Labs. Lucrarea prezintă o abordare prin care modelele AI pot înțelege mai bine cauzele unor rezultate neașteptate și pot folosi aceste informații pentru a lua decizii mai bune, informează The Register.
De ce au nevoie roboții de modele care pot anticipa situații neprevăzute
Modelele de tip world model sunt folosite pentru antrenarea sistemelor AI care interacționează cu lumea fizică, inclusiv roboți. Acestea încearcă să anticipeze ce se va întâmpla după o anumită acțiune: cum se va deplasa un obiect, ce traseu va urma un robot sau cum se va schimba mediul în urma unei intervenții.
Problema este că predicțiile se bazează pe datele observate în timpul antrenării. Un model poate învăța să estimeze rezultatul unor acțiuni întâlnite anterior, dar situațiile reale pot include factori pe care nu i-a anticipat. Un robot poate întâlni o suprafață alunecoasă, o sarcină mai grea decât cea estimată sau un motor care nu funcționează la parametrii obișnuiți.
În astfel de cazuri, simpla predicție nu este suficientă. Sistemul trebuie să înțeleagă de ce rezultatul a fost diferit de cel așteptat și să estimeze ce altă decizie ar fi putut funcționa în aceleași condiții.
Cercetătorii încearcă să rezolve tocmai această problemă prin modelele contrafactuale. Acestea analizează scenarii care nu s-au produs efectiv, dar care ar fi putut apărea dacă sistemul ar fi ales o altă acțiune. Astfel, robotul poate învăța dintr-un eșec fără să fie nevoie să repete toate variantele posibile în timpul antrenării.
Ce legătură există între Yann LeCun, modelele JEPA și principiul lui Leibniz
Noua abordare pornește de la o familie de modele numită JEPA, dezvoltată de Yann LeCun și colaboratorii săi începând din 2023. Aceste sisteme, cunoscute sub numele de Joint Embedding Predictive Architecture, pot primi o acțiune ca intrare și pot estima cum va arăta lumea după aplicarea ei.
Totuși, modelele JEPA au o limitare importantă: tind să prezică o medie a rezultatelor posibile. Din acest motiv, pot avea dificultăți atunci când trebuie să estimeze scenarii alternative, adică rezultate care nu s-au produs în realitate.
Metoda prezentată în noua cercetare nu este limitată la arhitectura JEPA, ci poate fi aplicată oricărui model de tip world model care estimează starea următoare în funcție de o acțiune. Cu toate acestea, cercetătorii consideră că modelele JEPA sunt deosebit de potrivite pentru adaptare.
Experimentele au folosit encodere deja existente, DINOv2 și MAE, fără ajustarea lor suplimentară. Cercetătorii au antrenat doar un predictor de dimensiuni reduse, ceea ce sugerează că transformarea unui astfel de model într-unul capabil să facă predicții contrafactuale nu ar necesita modificări majore.
Denumirea lucrării face trimitere la principiul latin natura non facit saltus, atribuit lui Gottfried Leibniz, potrivit căruia natura nu face salturi. Ideea este că schimbările din sistemele fizice au o anumită continuitate, iar efectele diferitelor forțe pot fi estimate separat pe intervale scurte de timp. Principiul a fost pus sub semnul întrebării în contextul mecanicii cuantice, dar cercetătorii îl folosesc pentru a justifica matematic metoda propusă.
Cum poate un robot să afle ce s-ar fi întâmplat dacă alegea altă acțiune
Un exemplu oferit de Randall Balestriero în lucrare implică o barcă ce traversează un râu. Modelul trebuie să estimeze unde va ajunge ambarcațiunea dacă este orientată spre stânga, dar există un factor ascuns care îi influențează deplasarea: curentul apei.
Să presupunem că modelul estimează o anumită poziție, însă barca ajunge cu doi metri mai în aval decât se anticipase. Diferența dintre predicție și rezultatul real oferă o informație despre efectul curentului. Pentru a estima unde ar fi ajuns barca dacă ar fi fost orientată spre dreapta, sistemul pornește de la predicția inițială pentru acea direcție și adaugă aceeași diferență de doi metri.
Cu alte cuvinte, modelul folosește ceea ce s-a întâmplat efectiv pentru a corecta predicția unui scenariu alternativ. Potrivit cercetătorilor, metoda poate face acest lucru printr-o singură scădere, fără să fie nevoie să învețe separat care a fost factorul ascuns ce a influențat rezultatul.
Explicația se bazează pe comportamentul sistemelor fizice pe intervale scurte. Efectul acțiunii și cel al unei perturbări, precum curentul apei, cresc proporțional cu durata. Interacțiunea dintre ele crește însă mai lent, proporțional cu pătratul intervalului de timp. Din acest motiv, efectele pot fi tratate aproximativ ca fiind independente atunci când perioada analizată este suficient de scurtă.
Autorii susțin că au demonstrat matematic și limitele metodei: eroarea relativă produsă de estimarea perturbării scade proporțional cu pătratul intervalului de timp. În plus, potrivit lucrării, nicio altă metodă care folosește aceleași date obișnuite nu poate obține rezultate mai bune în cel mai nefavorabil scenariu.
La ce ar putea folosi noua tehnică în robotică
Cercetătorii identifică trei direcții principale în care modelele contrafactuale ar putea fi utile. Prima este corectarea deciziilor după un eșec. Dacă un robot nu reușește să îndeplinească o sarcină din cauza unui factor pe care nu l-a putut observa, poate estima ce acțiune alternativă ar fi avut șanse mai mari de reușită în aceleași condiții.
În simulările prezentate în lucrare, alegerea unei acțiuni pe baza acestei metode a dus la atingerea obiectivului în 35-69% dintre cazuri. Prin comparație, un planificator care cunoștea simulatorul, dar ignora rezultatul acțiunii anterioare, a obținut o rată de succes de 14-23%. După alte două încercări în aceeași situație, rata de succes a crescut la 51-97%.
O altă aplicație ar putea fi adaptarea la defecțiuni persistente, cum ar fi un motor calibrat incorect. În loc să trateze fiecare rezultat neașteptat ca pe un eveniment izolat, robotul ar putea identifica efectul constant al problemei și și-ar putea ajusta deciziile.
A treia direcție ține de explicarea eșecurilor. O astfel de tehnologie ar putea ajuta la diferențierea dintre o decizie greșită și un rezultat provocat de factori pe care sistemul nu îi putea anticipa. Această capacitate ar fi relevantă nu doar pentru roboți, ci și pentru mașini autonome sau drone, care trebuie să reacționeze la schimbări neașteptate ale mediului.