O placă video NVIDIA veche de șase ani poate fi mai bună decât modelele noi pentru AI. De ce merită cumpărată second-hand
O placă video lansată în urmă cu mai mulți ani poate oferi un raport preț-performanță mai bun decât unele modele recente atunci când vine vorba despre rularea inteligenței artificiale direct pe PC. NVIDIA GeForce RTX 3090, echipată cu 24 GB de memorie video, rămâne o opțiune atractivă pentru cei care vor să folosească modele AI locale fără să depindă de servicii precum ChatGPT sau Claude.
Principalul avantaj nu este neapărat viteza de procesare, ci capacitatea mare de memorie video. Aceasta permite rularea unor modele de limbaj cu zeci de miliarde de parametri, care ar întâmpina dificultăți pe plăci video mai noi, dar echipate cu doar 12 sau 16 GB de VRAM, scrie XDA Developers.
De ce contează memoria video atunci când rulezi modele AI local
Rularea unui model lingvistic de mari dimensiuni pe propriul calculator presupune resurse hardware considerabile. Pe lângă puterea de procesare, memoria video disponibilă influențează direct dimensiunea modelelor care pot fi încărcate și viteza cu care acestea pot genera răspunsuri.
NVIDIA GeForce RTX 3090 dispune de 24 GB de VRAM, o capacitate care îi oferă un avantaj important în fața unor plăci video mai recente, dar cu mai puțină memorie. Un model cu 32 de miliarde de parametri poate necesita aproximativ 20 GB de memorie video pentru o experiență de utilizare rezonabilă, în funcție de nivelul de cuantizare și de configurație.
Cu 16 GB de VRAM, chiar și o placă video performantă poate întâmpina dificultăți în rularea unor asemenea modele. O parte din date trebuie transferată în memoria RAM a sistemului, care este mai lentă decât memoria video, iar acest lucru poate afecta performanța.
Există însă un detaliu important: încărcarea integrală a modelului în memoria video nu garantează că toate resursele vor fi suficiente. Procesul de inferență, prin care AI generează răspunsuri, are nevoie de memorie suplimentară pentru contextul conversației. Cu cât discuția devine mai lungă și acumulează mai mulți tokeni, cu atât crește cantitatea de VRAM necesară.
Antrenarea și ajustarea suplimentară a modelelor sunt și mai solicitante, deoarece trebuie păstrate în memorie și alte informații, precum gradienții și stările optimizatorului. Din acest motiv, o placă video cu mai multă memorie poate fi mai utilă decât una mai rapidă, dar limitată la modele mai mici.
RTX 3090 poate rula modele AI cu 27 sau 32 de miliarde de parametri
Cei 24 GB de memorie video permit experimentarea cu modele care depășesc categoria celor mici, de 7 sau 8 miliarde de parametri. RTX 3090 poate gestiona și modele de 14 sau 27 de miliarde de parametri, cu condiția alegerii unei versiuni cuantizate potrivite.
Un exemplu este Qwen3.6 27B, pentru care Ollama indică un necesar de aproximativ 19 GB de memorie. Modelul poate încăpea în VRAM-ul plăcii RTX 3090, deși spațiul rămas pentru fereastra de context și celelalte operațiuni este limitat.
Cuantizarea permite reducerea dimensiunii modelelor prin reprezentarea parametrilor cu o precizie mai mică. În schimbul unui anumit compromis privind precizia, se reduce consumul de memorie, ceea ce face posibilă rularea unor modele mai mari pe hardware obișnuit.
Pentru gestionarea modelelor pot fi folosite programe precum Ollama și llama.cpp, iar Open WebUI oferă o interfață asemănătoare celei din ChatGPT. Combinate cu un sistem de recuperare a informațiilor din documente, aceste instrumente pot transforma PC-ul într-un asistent AI privat, capabil să răspundă pe baza fișierelor păstrate local.
Cei 24 GB de VRAM sunt utili și pentru alte sarcini bazate pe inteligență artificială, precum generarea de imagini, transcrierea audio și crearea de reprezentări numerice ale textelor, cunoscute drept embeddings. Prin urmare, RTX 3090 nu este limitată la rularea chatboturilor.
Cât costă RTX 3090 și cum se compară cu plăcile video noi
Unul dintre motivele pentru care RTX 3090 rămâne atractivă este prețul de pe piața second-hand, raportat la cantitatea de memorie video oferită. Modelul costa aproximativ 1.000 de dolari la lansare, iar articolul XDA menționează prețuri de circa 1.800 de dolari pe piața de anunțuri.
Prin comparație, RTX 5070 Ti este menționată la aproximativ 2.200 de dolari, în timp ce RTX 5080 ajunge la circa 2.300 de dolari. Ambele oferă 16 GB de VRAM, cu 8 GB mai puțin decât vechiul model din seria RTX 30.
RTX 5090 este o alternativă mult mai puternică, dar disponibilitatea și prețul ridicat o fac dificil de cumpărat pentru mulți pasionați. Într-un scenariu în care prioritatea este rularea unor modele AI cât mai mari, nu performanța maximă în jocuri, cei 24 GB ai RTX 3090 pot conta mai mult decât avantajele generațiilor recente.
Există și alternative de la alți producători. Intel Arc Pro B60 a fost comercializată la aproximativ 650 de dolari, cu 24 GB de memorie video și un consum declarat de 200 W. AMD Radeon RX 7900 XTX este menționată în intervalul 1.200-1.500 de dolari. Totuși, compatibilitatea cu instrumentele AI și suportul software reprezintă criterii importante în alegerea unei plăci video.
Riscurile cumpărării unei plăci video second-hand pentru AI
RTX 3090 nu mai este produsă, ceea ce înseamnă că achiziția se face în principal de pe piața second-hand. Aici apare și cel mai mare dezavantaj: cumpărătorul nu poate ști întotdeauna în ce condiții a fost folosită placa video.
Unele exemplare ar fi putut funcționa perioade îndelungate în sisteme de gaming sau în ferme de minare, iar uzura componentelor poate influența fiabilitatea. În plus, o placă video veche poate necesita intervenții de întreținere, în funcție de starea sistemului de răcire și a componentelor.
O altă diferență importantă ține de ecosistemul software. NVIDIA beneficiază de suportul CUDA, utilizat pe scară largă în aplicațiile pentru AI local. Deși plăcile Intel și AMD pot rula anumite modele și instrumente, compatibilitatea și performanța pot varia în funcție de program și de configurație.