Un Samsung Galaxy mai vechi poate rula AI fără internet, dar există o problemă care îi încetinește performanța

Un telefon Samsung Galaxy S23 FE poate găzdui modele de inteligență artificială care funcționează local, fără să depindă de servicii cloud precum ChatGPT sau Claude.

Un experiment realizat cu Gemma 4 E2B a arătat că dispozitivul poate rezuma texte, reformula mesaje și clasifica informații, însă rezultatele depind atât de modelul ales, cât și de felul în care Android gestionează aplicațiile deschise în fundal, scrie XDA Developers.

Cum a fost transformat Galaxy S23 FE într-un server AI local

Experimentul a pornit de la dorința de a folosi mai puțin inteligența artificială din cloud pentru sarcini cotidiene. Un jurnalist de la XDA a încercat să transforme un Galaxy S23 FE mai vechi într-un dispozitiv capabil să ruleze modele lingvistice direct pe telefon, fără să fie nevoie să țină pornit permanent un PC.

Telefonul folosit în test are procesor Exynos 2200 și 8 GB de memorie RAM, dintre care Android pune la dispoziție aproximativ 7,3 GB. Spațiul disponibil pentru modelul AI este însă mai mic, deoarece sistemul de operare și celelalte aplicații folosesc deja o parte din memorie.

Prima încercare a fost făcută cu PocketPal, o aplicație care permite descărcarea și rularea locală a unor modele lingvistice și oferă propria interfață de conversație. Printre opțiunile disponibile se numărau Gemma 3 1B, Gemma 4 E2B și Phi-4 Mini.

Modelul Gemma 3 1B a pornit fără probleme, dar obiectivul principal era testarea Gemma 4 E2B, o versiune mai mică a modelului folosit anterior pe PC. La încărcare, PocketPal a afișat un avertisment privind memoria disponibilă, iar aplicația s-a închis în mod repetat.

Soluția a fost renunțarea la interfața PocketPal și folosirea Termux, un mediu care permite rularea unor instrumente Linux pe Android. Prin intermediul acestuia, jurnalistul a instalat pachetul llama.cpp și a încărcat o versiune Gemma 4 E2B cuantizată Q4_K_M, cu o dimensiune de aproximativ 2,8 GB. Modelul a pornit și a fost pus la dispoziție printr-un server local, accesibil la adresa localhost:8080.

Vezi și:

EXPERIENȚĂ Am testat laptopurile ASUS ProArt care folosesc inteligență artificială fără să depindă de cloud. De ce ar putea fi mai importante decât par la prima vedere

Poți rula modele AI local și fără o placă video dedicată. Ce arată testele pe trei configurații diferite

De ce răspunsurile AI ajungeau să dureze aproape 12 minute

Deși modelul s-a încărcat fără probleme, viteza de generare a fost mult sub așteptări. La un test simplu, care solicita un răspuns de cinci cuvinte, procesarea inițială a celor 103 tokeni a avut o viteză de 1,27 tokeni pe secundă, în timp ce generarea efectivă a coborât la numai 0,11 tokeni pe secundă. Pentru opt tokeni, telefonul a avut nevoie de un minut și 11 secunde.

Un al doilea test, în care modelului i s-a cerut să rezume un paragraf în două rânduri, a confirmat problema. Procesarea inițială a ajuns la 1,54 tokeni pe secundă, dar cei 68 de tokeni ai răspunsului au fost generați în 11 minute și 56 de secunde, cu o viteză de numai 0,09 tokeni pe secundă.

Au fost verificate setările care ar fi putut limita performanța telefonului. Termux avea permisiunea de a funcționa fără restricții de baterie, economisirea energiei era dezactivată, iar aplicațiile nefolosite nu erau trimise automat în repaus. Nici schimbarea modelului nu a rezolvat problema: Qwen 3.5 2B, o variantă mai mică, a avut rezultate la fel de slabe în configurația respectivă.

În schimb, același model Qwen 3.5 2B a funcționat mult mai bine în PocketPal. Testele aplicației au indicat 54,54 tokeni pe secundă la procesarea inițială și 11,14 tokeni pe secundă la generare, iar utilizarea obișnuită a oferit o viteză de aproximativ nouă tokeni pe secundă.

Diferența a ridicat suspiciunea că problema nu ținea neapărat de capacitatea hardware a telefonului, ci de modul în care sistemul gestiona Termux atunci când aplicația nu mai era în prim-plan.

Ecranul împărțit a crescut viteza de generare de aproximativ 100 de ori

Pentru a verifica ipoteza, au fost rulate teste cu llama-bench direct în Termux. Rezultatele au arătat o diferență majoră în funcție de aplicația care rămânea activă pe ecran.

Când Termux funcționa în fundal, în timp ce Chrome era deschis, Qwen 3.5 2B genera doar 0,17 tokeni pe secundă. Cu Termux în prim-plan, viteza a crescut la 13,33 tokeni pe secundă în testul scurt. Într-un test mai lung, modelul a obținut aproximativ 9,98 tokeni pe secundă la generare.

Gemma 4 E2B a prezentat o evoluție similară. Viteza de generare, care coborâse anterior la aproximativ 0,1 tokeni pe secundă, a ajuns la 11,39 tokeni pe secundă atunci când Termux era activ. Diferența a fost de aproximativ 100 de ori în condițiile testate.

Investigația a indicat și o posibilă explicație tehnică. Atunci când Termux era în prim-plan, aplicația putea folosi toate cele opt nuclee ale procesorului. În fundal, lista nucleelor disponibile se restrângea la trei, numerotate de la 0 la 2.

Autorul experimentului suspectează că Android limitează resursele aplicațiilor fără o fereastră vizibilă, iar modul în care Samsung gestionează procesele din fundal ar putea contribui la acest comportament. Cauza exactă nu a fost însă confirmată, astfel că nu este clar dacă restricția ține de Android în general sau de implementarea Samsung.

Soluția practică a fost folosirea telefonului în modul de ecran împărțit, cu Termux și Chrome active simultan. În această configurație, Gemma 4 E2B a generat între 5,4 și 6,6 tokeni pe secundă. Într-un test de stres, modelul a produs 730 de tokeni în două minute și patru secunde.

Poate un telefon vechi să înlocuiască ChatGPT sau Claude?

După rezolvarea problemei de performanță, modelul Gemma 4 E2B a fost testat pentru sarcini obișnuite: rezumarea textelor, reformularea mesajelor și clasificarea unor informații. În aceste scenarii, rezultatele au fost suficient de bune pentru a face configurația utilă în activitățile de zi cu zi.

Comparația cu Qwen 3.5 2B a scos însă la iveală o limitare importantă. În timp ce Gemma a reușit să răspundă corect la mai multe cerințe simple, Qwen a inventat informații despre presupuse variante ale modelului Gemma, inclusiv versiuni denumite 4.5, 2.5, Ultra și Turbo. A oferit inclusiv date de lansare incorecte, prezentate cu încredere.

Astfel de erori, cunoscute drept halucinații, reprezintă unul dintre riscurile folosirii modelelor lingvistice de dimensiuni reduse. Un răspuns formulat convingător nu este neapărat și unul corect, motiv pentru care informațiile generate trebuie verificate, mai ales atunci când sunt folosite în contexte importante.

Rularea locală are totuși un avantaj: sarcinile pot fi procesate direct pe dispozitiv, fără să fie trimise obligatoriu către un serviciu AI din cloud. În schimb, performanța depinde de memoria telefonului, de modelul ales și de resursele pe care sistemul de operare le pune la dispoziția aplicației.

Apeluri și video fără rețea mobilă: aplicația Android care conectează telefoanele prin Bluetooth