Mai multe plăci video și mai multe tokenuri nu înseamnă automat AI mai performant. Unde se pierd banii companiilor
Extinderea infrastructurii AI nu garantează rezultate mai bune, iar companiile care investesc în sisteme cu mai mulți agenți inteligenți riscă să plătească pentru resurse pe care nu le folosesc eficient. Problema nu ține doar de numărul de plăci video sau de volumul de tokenuri procesate, ci și de felul în care este păstrat și reutilizat contextul de care au nevoie modelele AI.
Val Bercovici, directorul pentru AI al companiei WEKA, susține că organizațiile ar trebui să măsoare costul fiecărei sarcini finalizate, nu doar consumul de tokenuri. Într-o discuție despre infrastructura sistemelor AI cu agenți multipli, acesta a atras atenția asupra unor pierderi provocate de recalcularea repetată a acelorași informații și de investițiile excesive în memoria GPU-urilor, scrie Venture Beat.
De ce echipele de agenți AI pot costa mai mult fără să ofere rezultate mai bune
Un sistem cu mai mulți agenți AI nu este automat mai eficient decât unul care folosește un singur agent. O evaluare realizată de Vals AI, pe baza testului Vibe Code Bench AI, a arătat că echipele de agenți au consumat de 1,8 până la 5,1 ori mai multe resurse decât agenții individuali. Câștigurile de viteză au fost însoțite de îmbunătățiri foarte mici ale calității rezultatelor.
Acest dezechilibru schimbă și felul în care companiile privesc facturile pentru AI. Dacă la început accentul cădea pe creșterea numărului de tokenuri procesate, departamentele financiare încep să limiteze consumul și să compare costurile fiecărei sesiuni cu valoarea muncii obținute.
Bercovici consideră că industria este încă prea concentrată pe facturarea în funcție de tokenuri, în loc să urmărească rezultatul final. Un volum mai mare de tokenuri, la un cost unitar mai mic, ar putea fi justificat dacă duce la sarcini rezolvate mai ieftin și mai bine.
Calculul nu este însă simplu. Sudhanshu Bist, vicepreședinte pentru ingineria infrastructurii platformei la Upwork, a explicat că sistemul intern al companiei urmărește cheltuielile pentru modele și le atribuie echipelor și serviciilor. Totuși, evidența nu include automat costurile de antrenare și ajustare a modelelor, timpul angajaților necesar pentru corectarea rezultatelor sau resursele procesoarelor folosite pentru apelurile către instrumente externe. Aceste cheltuieli sunt înregistrate separat, ceea ce face dificilă stabilirea costului real al unei sarcini finalizate.
Memoria pe termen scurt și păstrarea contextului devin esențiale pentru agenții AI
Sistemele AI folosite în producție nu funcționează întotdeauna cu un singur agent care rezolvă o sarcină de la început până la sfârșit. În multe implementări, mai mulți agenți colaborează sau un agent principal împarte activitatea în sarcini mai mici, delegate altor agenți. Pentru ca acest proces să funcționeze, fiecare componentă trebuie să poată accesa informațiile deja procesate.
Aici intervine memoria KV cache, o componentă care păstrează cheile și valorile calculate de model pentru tokenurile procesate. Acest mecanism îi permite unui model lingvistic să genereze următoarele tokenuri fără să reia de fiecare dată procesarea întregului context. Dacă informațiile din cache nu mai sunt disponibile în memoria GPU, modelul trebuie să refacă operațiile deja efectuate.
Problema devine mai costisitoare atunci când agenții își transferă sarcinile unul altuia. Un agent poate ajunge să recalculeze contextul pregătit anterior de altul, deși informațiile ar putea fi păstrate și reutilizate. „Regula numărul unu este să nu recalculezi același token de două ori”, a spus Bercovici, subliniind că procesarea repetată consumă inutil resurse.
Pe lângă memoria pe termen scurt, sistemele au nevoie și de păstrarea informațiilor pe termen lung. Aceasta poate include context din sesiuni anterioare, la care un agent trebuie să revină atunci când primește o nouă solicitare. Potrivit lui Bercovici, capacitatea de a păstra informațiile și de a le accesa rapid devine tot mai importantă, mai ales în cazul agenților care rulează permanent, fără perioade în care infrastructura poate fi lăsată inactivă.
Companiile cumpără mai multe GPU-uri pentru memoria lor, nu pentru puterea de calcul
O altă problemă identificată de directorul WEKA este dezechilibrul dintre puterea de calcul a plăcilor video și capacitatea lor de memorie. Modelele cu contexte lungi și sistemele cu mai mulți agenți pot consuma rapid memoria cu lățime de bandă mare, cunoscută drept HBM. Atunci când aceasta nu mai poate păstra toate informațiile necesare, companiile ajung să cumpere GPU-uri suplimentare, chiar dacă nu au nevoie de întreaga lor capacitate de calcul.
Bercovici a descris memoria HBM a GPU-urilor și memoria SRAM integrată în cipurile Cerebras drept unele dintre cele mai scumpe resurse din infrastructura AI. În opinia sa, companiile ajung să plătească pentru putere de procesare pe care nu o folosesc, doar pentru a avea suficient spațiu în care să păstreze contextul modelelor.
El a pus o parte din această tendință pe seama accesului mai facil la capital al companiilor americane, în special al celor din Silicon Valley. În schimb, laboratoarele chineze lucrează sub restricții privind accesul la hardware și sunt nevoite să dezvolte modele și sisteme de inferență mai eficiente.
Bercovici a contestat și ideea că achiziția unui număr mai mare de GPU-uri duce automat la economii. În practică, hardware-ul suplimentar poate încuraja un consum și mai mare de resurse. Presiunea asupra costurilor crește pe măsură ce companiile încearcă să concureze cu tarifele per token practicate de DeepSeek. Pentru a ajunge la niveluri similare, furnizorii trebuie să reducă operațiunile duplicate și să găsească metode mai ieftine de păstrare a contextului.
Memoria AI se mută din GPU-uri către sisteme de stocare partajată
Pentru a evita recalcularea acelorași informații, infrastructura AI poate folosi mai multe niveluri de memorie. Primul este memoria HBM a GPU-ului, foarte rapidă, dar costisitoare și limitată ca volum. Al doilea este memoria serverului, care oferă mai mult spațiu, însă păstrează datele pe o anumită mașină. Al treilea nivel este reprezentat de stocarea flash partajată, care poate păstra contextul între sesiuni și îl poate pune la dispoziția mai multor sisteme dintr-un cluster.
Această organizare permite păstrarea informațiilor deja calculate într-un spațiu mai accesibil decât memoria GPU-ului. Atunci când un agent are din nou nevoie de ele, sistemul le poate încărca în loc să refacă întregul proces. Astfel, resursele de calcul rămân disponibile pentru procesarea unor informații noi.
Bercovici a oferit drept exemplu clusterul de stocare de 100 de pebibytes asociat DeepSeek, pentru a ilustra dimensiunea pe care o poate atinge memoria de lucru necesară sistemelor AI. Ideea este că stocarea nu mai servește doar la arhivarea fișierelor, ci poate deveni o componentă activă a infrastructurii de inferență.
Există și optimizări la nivel software. Mega-kernelurile grupează mai multe operațiuni din procesul de inferență, reducând timpul și resursele pierdute prin transferul repetat al sarcinilor între componente. În paralel, companii precum Cerebras, SambaNova, d-Matrix și Groq dezvoltă cipuri specializate pentru inferență, capabile să genereze mii de tokenuri pe secundă pentru un singur utilizator.
Potrivit lui Bercovici, tehnici precum mega-kernelurile ar putea ajuta și GPU-urile Nvidia sau AMD să se apropie de asemenea performanțe, dacă sistemele sunt optimizate pentru răspunsuri mai rapide către fiecare persoană, nu doar pentru procesarea simultană a unui număr cât mai mare de solicitări.
Problema nu este, așadar, doar lipsa hardware-ului, ci și modul în care sunt coordonate milioane de nuclee de procesare și gestionate informațiile între nivelurile de memorie. Pentru companiile care dezvoltă sisteme cu agenți AI, eficiența va depinde tot mai mult de reducerea operațiunilor repetate și de calcularea costului real al fiecărui rezultat, nu doar de numărul de GPU-uri instalate sau de tokenurile consumate.