A înghesuit un model AI cu 28,9 milioane de parametri într-un cip de 10 dolari. Trucul Google care a făcut imposibilul posibil

Un dezvoltator ucrainean a reușit să ruleze local un model de inteligență artificială cu 28,9 milioane de parametri pe un microcontroler care costă mai puțin de 10 dolari. Proiectul, prezentat de Tom’s Hardware, folosește un ESP32-S3 cu doar 512 KB de memorie SRAM, 8 MB PSRAM și 16 MB de stocare flash.

Creatorul, cunoscut online drept Slava S sau slvDev, și-a numit proiectul ESP32-AI. Modelul rulează complet pe dispozitiv. Nu are nevoie de servere, de un abonament sau de o conexiune la internet. Este o demonstrație surprinzătoare pentru un cip folosit de obicei în senzori, gadgeturi inteligente și proiecte electronice simple.

Aproape 30 de milioane de parametri pe un cip minuscul

În mod normal, un model lingvistic trebuie încărcat în memoria rapidă a sistemului. Procesorul consultă permanent parametrii pentru a calcula următorul cuvânt. Este unul dintre motivele pentru care modelele AI mari au nevoie de plăci video puternice și cantități uriașe de memorie.

ESP32-S3 nu are asemenea resurse. Microcontrolerul dispune de numai 512 KB SRAM. Chiar și cei 8 MB de PSRAM sunt insuficienți pentru încărcarea obișnuită a unui model cu aproape 29 de milioane de parametri. Un fișier foto realizat cu un telefon modern poate ocupa mai mult spațiu decât memoria rapidă disponibilă pe acest cip.

Vezi și:

După câte ore de la ultimul pahar te poți urca la volan. Cât timp rămâne alcoolul în sânge și în aerul expirat

Slava a redus modelul la precizie de 4 biți. În urma procesului de cuantizare, dimensiunea totală a ajuns la 14,9 MB. Fișierul poate încăpea astfel în memoria flash de 16 MB a plăcii. Performanța raportată este de aproximativ 9,5 tokenuri pe secundă.

Alegerea cipului este importantă. Un ESP32-S3 este ieftin și consumă puțină energie. Poate fi integrat în aparate electrocasnice, jucării, senzori sau dispozitive care trebuie să funcționeze fără acces permanent la cloud.

Trucul preluat de la Google pentru salvarea memoriei

Cheia proiectului este o tehnică numită Per-Layer Embeddings. Arhitectura este inspirată de modelele Gemma dezvoltate de Google. În loc să mute toate datele modelului în memoria rapidă, sistemul le distribuie în funcție de modul în care sunt folosite.

Tabelul de embedding-uri conține aproximativ 25 de milioane de parametri. Dezvoltatorul l-a stocat direct în memoria flash. Aceasta este mai lentă decât memoria SRAM, dar modelul nu trebuie să citească întregul tabel pentru fiecare cuvânt generat. Sunt accesate doar câteva rânduri necesare în acel moment.

Memoria rapidă rămâne disponibilă pentru nucleul care realizează calculele. Această separare permite rularea unei rețele neurale mult mai mari decât ar sugera specificațiile cipului. Este o abordare asemănătoare altor tehnologii care încearcă să reducă memoria necesară pentru AI.

Recordul anterior menționat de dezvoltator era de aproximativ 260.000 de parametri pe un cip din aceeași categorie. Noul proiect crește acest număr de peste 100 de ori. Saltul nu vine dintr-un procesor mai puternic. Vine din organizarea mai eficientă a modelului și a memoriei.

Modelul nu înlocuiește ChatGPT, dar arată ce urmează

Demonstrația are limite evidente. Modelul a fost antrenat pe setul de date TinyStories. Poate genera povestiri scurte și simple. Nu poate răspunde corect la întrebări despre lume. Nu urmează instrucțiuni complexe. Nu scrie cod și nu poate fi folosit drept asistent personal complet.

Acesta este mai degrabă un model lingvistic foarte mic decât un LLM comparabil cu serviciile comerciale. Scopul proiectului nu este să înlocuiască un centru de date. Demonstrația arată că anumite sarcini AI pot fi executate pe hardware extrem de ieftin.

Un aparat de cafea ar putea, de exemplu, să includă informații despre boabe, măcinare, temperatură și proporții. Toate răspunsurile ar putea fi generate local. Datele nu ar părăsi dispozitivul. Aparatul ar funcționa și fără internet.

Aceeași idee poate fi aplicată jucăriilor educaționale, sistemelor smart home sau dispozitivelor industriale. Modelele locale oferă mai multă confidențialitate și elimină costurile asociate serverelor. Google folosește deja modele din familia Gemma pentru aplicații care oferă funcții AI fără internet.

Proiectul ESP32-AI demonstrează că puterea brută nu este singura soluție. Uneori, arhitectura inteligentă poate compensa lipsa memoriei și a unui procesor performant. Un cip mai ieftin decât o masă de prânz nu va deveni curând un rival pentru centrele de date. Poate însă aduce funcții AI locale în milioane de obiecte obișnuite.

Se schimbă stimulentul de 1.000 de lei pentru copiii cu dizabilități din București. Cine va primi mai puțin din 2027