Un model AI de 26 de miliarde de parametri poate rula pe PC și poate fi folosit de pe iPhone. Cum funcționează aplicația gratuită
Un iPhone poate accesa modele AI locale care rulează pe un PC de gaming, fără ca acestea să fie instalate sau executate direct pe telefon. O aplicație gratuită pentru iOS, numită Locally, permite conectarea la modelele găzduite pe calculator prin intermediul LM Studio. Astfel, un model precum Gemma 4 26B poate fi folosit de pe telefon inclusiv atunci când acesta nu este conectat la aceeași rețea Wi-Fi cu PC-ul.
Soluția oferă o alternativă la serviciile online precum ChatGPT și Gemini, mai ales pentru persoanele care vor să păstreze documentele și conversațiile pe propriile dispozitive. Există însă câteva condiții: calculatorul trebuie să rămână pornit, iar funcția de conectare la distanță este încă în versiune Preview, scrie XDA Developers.
LM Studio și Locally permit accesul de pe telefon la modelele AI locale
LM Studio este un program care permite descărcarea și rularea modelelor de inteligență artificială direct pe hardware-ul propriu. În versiunea 0.4.28, acesta include LM Link, o funcție care conectează calculatorul la alte dispozitive și le oferă acces la modelele instalate local.
Aplicația Locally, disponibilă gratuit în App Store, funcționează ca o interfață mobilă pentru acest sistem. În loc să ruleze modelul AI pe iPhone, aplicația trimite solicitările către calculatorul pe care acesta este găzduit. Practic, telefonul devine o fereastră către resursele hardware ale PC-ului.
Conectarea presupune câțiva pași. Este necesar un cont LM Studio, activarea funcției LM Link din meniul programului de pe calculator și autentificarea în aplicația Locally de pe telefon. După asocierea dispozitivelor, PC-ul apare în aplicație, împreună cu modelele disponibile.
Un avantaj important ține de securitatea conexiunii. LM Link este construit pe infrastructura Tailscale și folosește criptare end-to-end. Potrivit dezvoltatorilor, calculatorul nu trebuie expus direct pe internet, iar configurarea nu presupune deschiderea unor porturi în router.
Cum poate iPhone-ul să folosească Gemma 4 26B fără memoria necesară
Autorul testului publicat de XDA Developers a folosit un PC echipat cu o placă video NVIDIA RTX 4070 Ti Super. Sistemul poate rula mai multe modele AI locale, printre care Qwen3.6-35B-A3B și Gemma 4 26B A4B.
Modelul ales pentru experiment a fost o versiune Gemma 4 26B A4B în format pe 4 biți, dezvoltată de Google. Aceasta ocupă aproximativ 14,4 GB doar pentru ponderile modelului, o cantitate de memorie pe care un iPhone nu o poate pune la dispoziție pentru o astfel de sarcină.
Varianta folosită este de tip QAT, prescurtare de la quantization-aware training. Această tehnică urmărește să păstreze calitatea rezultatelor cât mai aproape de cea a modelului original în format bfloat16, deși datele sunt reprezentate cu o precizie mai redusă.
Unul dintre motivele pentru care autorul a ales această versiune a fost posibilitatea de a o încărca integral în memoria video disponibilă. LM Studio indica faptul că modelul putea beneficia de „Full GPU Offload Possible”, ceea ce înseamnă că toate cele 30 de straturi puteau rula pe placa video. Configurația folosea o fereastră de context de 16K.
După conectarea telefonului la PC, Gemma 4 a putut fi accesat direct din Locally, printr-o interfață asemănătoare celei întâlnite în aplicațiile obișnuite de chatbot. Diferența este că procesarea solicitărilor are loc pe calculator, nu pe serverele unui furnizor extern de AI.
Modelul AI poate fi accesat și prin internetul mobil, nu doar prin Wi-Fi
Unul dintre testele importante a urmărit să verifice dacă telefonul trebuie să fie conectat la aceeași rețea cu PC-ul. Pentru experiment, autorul a dezactivat Wi-Fi-ul pe iPhone și a trecut la conexiunea de date mobile.
Gemma 4 a rămas accesibil prin Locally, deși telefonul nu mai folosea rețeaua wireless de acasă. Conexiunea a funcționat fără configurarea manuală a unui VPN și fără deschiderea unor porturi în router.
Această facilitate diferențiază LM Link de o configurație obișnuită în care un model local este accesat printr-un server instalat pe calculator. În cazul unei soluții precum llama.cpp, accesul din afara rețelei locale poate necesita configurări suplimentare, inclusiv un VPN sau expunerea serviciului la internet.
Pentru persoanele care folosesc modele AI locale pentru documente, notițe sau alte informații personale, această variantă poate fi utilă. Datele sunt procesate pe hardware-ul propriu, iar utilizarea modelului nu presupune trimiterea solicitărilor către infrastructura cloud a Google sau OpenAI.
Ce limitări are aplicația Locally și cât timp va rămâne gratuită
Soluția are însă câteva dezavantaje importante. În primul rând, calculatorul pe care rulează modelul trebuie să rămână pornit și să nu intre în modul Sleep. Dacă Windows suspendă activitatea sistemului, conexiunea dintre iPhone și modelul AI este întreruptă.
Așadar, Locally nu transformă telefonul într-un dispozitiv capabil să ruleze independent modele de mari dimensiuni. Aplicația oferă doar acces la puterea de procesare a unui alt dispozitiv, care trebuie să fie disponibil permanent pentru a răspunde solicitărilor.
O altă limitare privește disponibilitatea funcției LM Link. Aceasta este gratuită în perioada de Preview, însă LM Studio intenționează să introducă abonamente sau niveluri contra cost după lansarea completă. Prin urmare, accesul gratuit nu este garantat pe termen nelimitat.
În plus, Locally este disponibilă momentan doar pentru iOS. Persoanele care folosesc telefoane Android nu pot beneficia de aceeași aplicație și trebuie să apeleze la alte soluții pentru accesarea modelelor locale de la distanță.