Poți rula modele AI local și fără o placă video dedicată. Ce arată testele pe trei configurații diferite

Rularea modelelor lingvistice mari (LLM) direct pe propriul computer nu mai presupune obligatoriu o placă video dedicată. Un experiment realizat pe trei configurații AMD, de la un sistem desktop mai vechi până la un dispozitiv compact de ultimă generație, arată că și grafica integrată poate face față unor sarcini de inteligență artificială. Diferențele de viteză sunt însă considerabile, iar memoria disponibilă și puterea de calcul rămân factori importanți.

Testele publicate de MakeUseOf au comparat un ASUS ROG Flow Z13 cu Ryzen AI Max 390, o consolă portabilă Lenovo Legion Go din prima generație și un sistem desktop cu Ryzen 5 5600G. Rezultatele arată că modelele AI pot rula și pe hardware mai vechi, însă configurațiile moderne oferă o experiență mult mai rapidă.

Trei configurații AMD, de la un procesor vechi la unul de ultimă generație

Primul sistem testat a fost ASUS ROG Flow Z13, echipat cu procesorul Ryzen AI Max 390 și grafică integrată Radeon 8050S. Dispozitivul folosit în experiment avea 32 GB de memorie RAM partajată, o limitare atunci când vine vorba despre dimensiunea modelelor care pot fi încărcate. Platforma este totuși una dintre cele mai puternice opțiuni din categoria sistemelor cu grafică integrată.

A doua configurație a fost Lenovo Legion Go din prima generație, un dispozitiv portabil bazat pe AMD Ryzen Z1 Extreme și dotat cu 16 GB de memorie. Acesta folosește GPU-ul integrat Radeon 780M, care oferă performanțe mai bune decât soluțiile grafice din generațiile anterioare, dar nu ajunge la nivelul platformei Ryzen AI Max 390.

Experimentul a inclus și un sistem desktop cu Ryzen 5 5600G și grafică integrată Vega 7. Procesorul este mai vechi, iar GPU-ul său nu beneficiază de suport oficial pentru ROCm, platforma AMD destinată calculului pe GPU. Cu toate acestea, sistemul a putut rula modele lingvistice, după câteva ajustări software.

Pentru comparație, au fost folosite scripturi de benchmark realizate cu ajutorul lui Claude. Testele au urmărit viteza de generare a textului, procesarea prompturilor, timpul necesar unei rulări, consumul de energie și temperatura maximă.

Radeon 8050S a fost de aproape cinci ori mai rapidă decât Vega 7

În testul de generare a textului, sistemul ASUS ROG Flow Z13 a atins 85,1 tokenuri pe secundă. Tokenurile reprezintă fragmente de text procesate sau generate de un model lingvistic și sunt folosite pentru măsurarea performanței acestuia.

Vezi și:

AMD lansează un instrument pentru companiile care vor să afle cât costă AI-ul

Lenovo Legion Go, folosind grafica integrată Radeon 780M, a ajuns la 44,1 tokenuri pe secundă. Rezultatul este de aproximativ două ori mai mic decât cel obținut de sistemul ASUS, dar arată că și un dispozitiv portabil poate rula modele AI la o viteză rezonabilă.

Configurația cu Ryzen 5 5600G și Vega 7 a înregistrat 17,5 tokenuri pe secundă, de aproape cinci ori mai puțin decât Radeon 8050S. Chiar dacă rezultatul este modest în comparație cu platformele mai noi, sistemul a demonstrat că poate executa astfel de modele fără o placă video separată.

Diferențele s-au văzut și la procesarea prompturilor. ASUS ROG Flow Z13 a atins 1.609 tokenuri pe secundă, în timp ce Legion Go a obținut 783. Sistemul cu Vega 7 a ajuns la 201 tokenuri pe secundă. În cazul Ryzen Z1 Extreme, testarea direct pe procesor, fără utilizarea GPU-ului integrat, a produs 22,4 tokenuri pe secundă la generare și 150 la procesarea prompturilor.

Timpul necesar unei rulări a fost de 3,2 secunde pentru Ryzen AI Max 390, 6,3 secunde pentru Radeon 780M, 13,7 secunde pentru varianta Ryzen Z1 Extreme care folosea procesorul și 16,8 secunde pentru Vega 7. Rezultatele confirmă avantajul graficii integrate moderne în astfel de sarcini.

Memoria partajată ajută, dar nu compensează un GPU lent

Unul dintre avantajele graficii integrate este accesul la memoria RAM a sistemului. În cazul unei plăci video dedicate, memoria VRAM este separată, în timp ce un GPU integrat folosește memoria comună cu procesorul. Acest lucru poate permite încărcarea unor modele care au nevoie de mai multă memorie decât oferă anumite plăci video.

În cadrul experimentului cu Ryzen 5 5600G, autorul a alocat manual 16 GB de memorie graficii integrate din BIOS, limita maximă disponibilă în configurația respectivă. Modificarea nu a îmbunătățit semnificativ performanța, ceea ce arată că memoria disponibilă nu este singurul factor care contează. Puterea de calcul a GPU-ului rămâne esențială.

Sistemul cu Vega 7 a necesitat și configurări suplimentare pentru a funcționa corespunzător. Autorul a folosit backendul Vulkan, deoarece GPU-ul nu are suport oficial ROCm, și a modificat fișierul de configurare al Ollama pentru ca aplicația să utilizeze grafica integrată în modul dorit.

Sistemul cel mai rapid nu a fost și cel mai eficient

Performanța ridicată a platformei Ryzen AI Max 390 vine cu un cost financiar. Sistemele construite în jurul acestei familii de procesoare sunt scumpe, iar memoria integrată în configurație este lipită pe placă, ceea ce limitează posibilitățile de extindere ulterioară.

Consumul mediu de energie măsurat în test a fost de 64 W pentru ASUS ROG Flow Z13, 33 W pentru Legion Go în modul GPU, 18 W pentru Ryzen Z1 Extreme folosit direct pe procesor și 41 W pentru sistemul cu Ryzen 5 5600G. Temperatura maximă a ajuns la 95 de grade Celsius pe platforma Ryzen AI Max 390, comparativ cu 81 de grade pentru Radeon 780M și 57 de grade pentru Vega 7. În cazul testului pe CPU al lui Ryzen Z1 Extreme, temperatura maximă a fost de 64 de grade.

La capitolul eficiență energetică, măsurată în tokenuri generate pe secundă pentru fiecare watt consumat, Radeon 780M a obținut un rezultat de 1,34, foarte apropiat de cel al Radeon 8050S, care a ajuns la 1,33. Ryzen Z1 Extreme folosit pe CPU a înregistrat 1,25, în timp ce Vega 7 a avut o eficiență de 0,43.

„Firicel” din Las Fierbinți, reținut pentru 24 de ore. Ce a descoperit Poliția după accidentul auto și ce riscă Cuzin Toma