Cum poți transforma un laptop vechi într-un server AI privat, fără să folosești placa video dedicată

Cum poți transforma un laptop vechi într-un server AI privat, fără să folosești placa video dedicată
Foto: Profimedia
Iulia Kelt
Google Urmărește pe Google

Un laptop de gaming care nu mai face față celor mai noi jocuri poate primi o a doua viață ca server AI pentru întreaga locuință. Un pasionat de tehnologie a transformat un Acer Nitro 5 vechi de cinci ani într-un asistent local capabil să analizeze documente și imagini, fără să trimită informațiile către servicii online precum ChatGPT sau Gemini. Soluția folosește un model AI compact, rulat prin llama.cpp pe placa video integrată Intel, în timp ce placa NVIDIA dedicată rămâne disponibilă pentru alte sarcini.

De ce a ales un model AI local în locul serviciilor online

Laptopul folosit în experiment este un Acer Nitro 5 echipat cu procesor Intel Core i7-11800H, 16 GB de memorie RAM și o placă video NVIDIA GeForce RTX 3050 Ti pentru laptop. Configurația era respectabilă în urmă cu cinci ani, dar proprietarul a găsit o utilizare mai potrivită pentru dispozitiv decât simpla păstrare într-un sertar: transformarea lui într-un server de acasă, disponibil permanent pentru aparatele conectate la rețeaua Wi-Fi, scrie XDA Developers.

Placa video dedicată avea deja suficiente responsabilități. Laptopul era folosit pentru streaming prin Jellyfin și pentru transmiterea unor jocuri către televizor cu ajutorul Sunshine. Adăugarea unui model AI care să ruleze permanent pe RTX 3050 Ti ar fi însemnat consumarea unor resurse necesare celorlalte activități.

Ideea unui asistent AI local a apărut și dintr-o problemă de confidențialitate. Membrii familiei încărcau în mod obișnuit documente bancare, polițe de asigurare, facturi și rapoarte medicale în ChatGPT sau Gemini pentru a obține explicații și rezumate. Deși aceste servicii sunt convenabile, trimiterea unor informații atât de sensibile către platforme externe a devenit o preocupare.

Soluția a fost un model AI de aproximativ două miliarde de parametri, suficient de mic pentru a funcționa pe hardware modest. Scopul nu a fost construirea unui înlocuitor pentru ChatGPT, ci a unui instrument simplu, disponibil în rețeaua locală, care să ajute familia să înțeleagă documente fără să le transmită către servere externe.

Cum funcționează AI-ul pe placa video integrată Intel

Pentru rularea modelului a fost folosit llama.cpp, un instrument popular pentru executarea modelelor lingvistice direct pe calculatoare personale. Unul dintre avantajele sale este că poate funcționa și pe sisteme cu resurse limitate, fără să fie nevoie de o placă video dedicată foarte performantă.

Provocarea principală a fost direcționarea procesării către grafica integrată Intel UHD, nu către NVIDIA RTX 3050 Ti. Pentru acest lucru, proprietarul a folosit versiunea Vulkan a llama.cpp și a selectat explicit dispozitivul identificat drept Vulkan0. Astfel, straturile modelului au fost alocate procesorului grafic integrat.

Verificarea a fost făcută și cu ajutorul comenzii nvidia-smi -l 1, care permite monitorizarea utilizării plăcii NVIDIA. Rezultatul a confirmat că llama.cpp nu folosea RTX 3050 Ti pentru procesarea modelului AI. În felul acesta, placa dedicată a rămas disponibilă pentru transcodarea videoclipurilor, streaming și alte activități solicitante.

Modelul ales a fost LFM3-VL-2B, dezvoltat de Liquid AI. Acesta face parte din categoria modelelor vision-language, ceea ce înseamnă că poate interpreta atât texte, cât și imagini. Caracteristica este importantă pentru analiza documentelor scanate, a fotografiilor și a altor materiale care nu pot fi tratate doar ca simple prompturi textuale.

Pentru funcționarea modelului este necesară versiunea 11960 sau una mai nouă a llama.cpp. După configurarea procesării locale, laptopul a fost transformat într-un server accesibil prin rețeaua internă. Membrii familiei pot deschide interfața AI de pe telefoane sau laptopuri, folosind un simplu shortcut în Chrome, fără să instaleze modelul pe fiecare dispozitiv.

Cât de rapid este un model AI care rulează pe hardware vechi

Configurația are însă limite evidente, iar performanța nu se apropie de cea a serviciilor AI comerciale. Proprietarul a măsurat o viteză de generare de aproximativ șase tokenuri pe secundă, suficientă pentru întrebări simple, dar departe de experiența unui chatbot rapid.

Un test realizat pe un contract de închiriere scanat, format din două pagini, a arătat cât de mult poate dura analiza unui document. Modelul a procesat 7.098 de tokenuri de intrare și a generat un răspuns de 252 de tokenuri. Procesarea inițială a avut o viteză de 33,3 tokenuri pe secundă, însă timpul până la primul token a ajuns la aproximativ 213 secunde.

Generarea efectivă a răspunsului a durat alte 41 de secunde, la o viteză de 6,11 tokenuri pe secundă. În total, au trecut aproximativ patru minute și 14 secunde de la transmiterea întrebării până la obținerea răspunsului complet.

Există și o limitare importantă în privința formatelor de fișiere. LFM3-VL-2B nu procesează direct documente PDF, astfel că paginile trebuie transformate în capturi de ecran și încărcate separat. Procedura adaugă un pas în plus, dar poate fi acceptabilă atunci când este vorba despre documente confidențiale care nu trebuie trimise în cloud.

Modelul nu excelează nici la raționamente complexe și nu poate înlocui ChatGPT sau Gemini pentru sarcini dificile. Este mai potrivit pentru rezumate, extragerea unor informații generale și explicarea unor documente pe care membrii familiei nu vor să le parcurgă integral.

Merită să transformi un laptop vechi într-un server AI pentru acasă?

Experimentul nu urmărește performanțe spectaculoase și nici nu propune o configurație potrivită pentru toată lumea. Avantajul principal este că un laptop vechi poate îndeplini o funcție utilă fără să consume resursele plăcii video dedicate. În plus, modelul rămâne accesibil tuturor dispozitivelor conectate la aceeași rețea locală.

Pentru o familie care folosește frecvent AI pentru a înțelege facturi, documente medicale sau extrase bancare, un asemenea server poate reprezenta o alternativă atunci când confidențialitatea este prioritară. Fișierele sunt procesate în interiorul rețelei proprii, fără să fie nevoie să fie încărcate într-un serviciu extern.

Totuși, rularea locală nu garantează automat securitatea datelor. Accesul la server trebuie protejat, iar rețeaua și dispozitivele conectate trebuie configurate corespunzător. Un model disponibil tuturor aparatelor din locuință poate deveni o vulnerabilitate dacă interfața este expusă accidental în afara rețelei sau dacă nu există măsuri de control al accesului.