Nvidia își arată noua armă pentru inteligența artificială: cipurile Groq ating viteze uriașe și schimbă modul în care răspund modelele AI

Nvidia a profitat de Hot Chips 2026 pentru a prezenta în detaliu una dintre cele mai importante tehnologii obținute în urma acordului cu Groq: arhitectura Groq 3 LPX, construită special pentru inferența inteligenței artificiale. Compania susține că noul sistem poate genera răspunsurile modelelor AI la viteze mult peste soluțiile disponibile în prezent, iar primele rack-uri bazate pe cipurile LP30 se află deja în producție.

Miza este importantă deoarece următoarea etapă a competiției AI nu mai ține doar de cât de repede poate fi antrenat un model. La fel de important devine cât de rapid și eficient poate răspunde acesta atunci când milioane de utilizatori îi trimit solicitări. Nvidia încearcă acum să împartă această sarcină între GPU-urile sale și procesoarele specializate dezvoltate inițial de Groq.

Peste 3.400 de tokeni pe secundă într-un test independent

Una dintre cifrele care au atras atenția la Hot Chips a fost rezultatul obținut de Groq 3 LPX într-un benchmark realizat înaintea lansării comerciale. Sistemul a ajuns la 3.431 de tokeni generați pe secundă într-un test cu modelul Gemma 4 31B și un context de 100.000 de tokeni.

Prin comparație, următoarea soluție publică din test a ajuns la aproximativ 870 de tokeni pe secundă. Diferența este de aproape patru ori, ceea ce arată potențialul arhitecturii pentru aplicațiile în care viteza de răspuns este esențială.

Vezi și:

După câte ore de la ultimul pahar te poți urca la volan. Cât timp rămâne alcoolul în sânge și în aerul expirat

Există însă o nuanță importantă. Testul Groq a fost realizat pe un endpoint privat, înainte de lansare, prin Google Cloud, folosind câte o solicitare pe rând. Celelalte servicii comparate funcționau în medii publice, partajate de mai mulți utilizatori. Prin urmare, rezultatele nu reprezintă o comparație perfectă între sisteme operate în exact aceleași condiții.

Nvidia a prezentat și propriul test, în care același model a atins 10.996 de tokeni pe secundă, însă compania a precizat chiar pe scenă că rezultatul este unul intern. Tocmai de aceea Nvidia spune că urmărește obținerea mai multor benchmark-uri independente pentru noua platformă.

Secretul Groq 3 LPX este memoria SRAM și execuția complet predictibilă

Diferența fundamentală față de GPU-urile tradiționale se află în modul în care este construit cipul LP30. Fiecare procesor dispune de aproximativ 500 MB de memorie SRAM integrată direct pe cip și nu folosește memorie HBM.

Vezi și:

Opt state americane dau OpenAI în judecată. ChatGPT este acuzat că îi pune în pericol pe copii și adolescenți

O formulă matematică simplă ar putea prezice când AI-ul începe să dea răspunsuri periculoase

Un rack complet conține 256 de procesoare și ajunge astfel la aproximativ 128 GB de memorie, cu o lățime de bandă agregată declarată de 40 PB/s. Puterea de calcul ajunge la aproximativ 315 PFLOPS în FP8.

Avantajul memoriei SRAM este latența extrem de mică. În loc ca datele necesare generării următorului token să fie transferate permanent din memoria HBM, informațiile pot rămâne foarte aproape de unitățile de calcul. Este exact genul de optimizare care contează în etapa de „decode”, atunci când un model AI generează răspunsul token după token.

Arhitectura elimină și numeroase mecanisme întâlnite în procesoarele clasice, printre care predicția ramificațiilor, cache-urile tradiționale sau execuția out-of-order. În schimb, compilatorul stabilește dinainte aproape fiecare operațiune, până la nivelul ciclurilor de ceas.

Această abordare permite inclusiv anticiparea consumului electric. Sistemul poate pregăti alimentarea înainte ca o anumită zonă a cipului să solicite energie, reducând variațiile de tensiune. Nvidia afirmă că tehnologia poate reduce voltage droop cu peste 60%, iar depășirile de tensiune cu peste 70%.

Controlul predictibil al sarcinilor ajută și la temperatură. În loc ca performanța întregului cip să fie limitată de cea mai fierbinte zonă, sarcinile pot fi distribuite astfel încât căldura să fie mai uniformă. Nvidia estimează că această metodă poate aduce aproximativ 10-11% performanță suplimentară în cadrul aceleiași limite termice.

Nvidia combină Groq cu Vera Rubin în loc să înlocuiască GPU-urile

Groq 3 LPX nu este prezentat drept înlocuitor pentru GPU-urile Nvidia. Strategia companiei este mai degrabă să împartă procesarea unui model AI între două tipuri de hardware.

GPU-urile din platforma Vera Rubin NVL72 ar urma să se ocupe de etapa de „prefill”, unde este nevoie de foarte multă putere de calcul și capacitate mare de memorie. Procesoarele LP30 ar primi apoi sarcina de „decode”, adică generarea efectivă a răspunsului.

Motivul este simplu. Un GPU Rubin dispune de aproximativ 288 GB de memorie HBM4, incomparabil mai mult decât cei aproximativ 500 MB de SRAM ai unui LP30. Pentru modele extrem de mari, capacitatea memoriei devine rapid o problemă pentru arhitectura Groq.

În cazul unui model de 31 de miliarde de parametri în FP8, ar fi necesare aproximativ 62 de procesoare LP30 numai pentru păstrarea parametrilor. La modele Mixture-of-Experts cu trilioane de parametri, numărul cipurilor poate ajunge la mii, distribuite în mai multe rack-uri.

Nvidia explorează astfel mai multe metode prin care cele două arhitecturi pot lucra împreună. Una separă complet prefill-ul de decode, alta păstrează mecanismul de attention și memoria asociată pe GPU, în timp ce LP30 procesează alte componente ale modelului. O a treia variantă folosește speculative decoding: un model mai mic generează rapid tokeni pe LPU, iar GPU-ul verifică mai mulți simultan.

În propriile teste, Nvidia spune că astfel de configurații pot oferi performanțe de trei până la cinci ori mai mari decât Vera Rubin utilizat singur, într-un scenariu cu un model de două trilioane de parametri și un context de 400.000 de tokeni.

Cerebras răspunde cu un sistem construit la scara unui wafer întreg

Nvidia nu a fost singura companie care a venit la Hot Chips 2026 cu cifre spectaculoase. Cerebras a prezentat noul CS4, următoarea generație a sistemului său construit în jurul procesoarelor wafer-scale.

Un rack CS4 integrează trei astfel de motoare într-o platformă modulară denumită Nexus. Compania afirmă că noua generație poate fi de până la 30 de ori mai rapidă decât anumite sisteme bazate pe GPU și poate dubla viteza de generare a tokenilor față de CS3.

Lățimea de bandă declarată ajunge la 43 PB/s, iar Cerebras susține că aceasta este de aproximativ 2.000 de ori mai mare decât cea disponibilă la nivelul unui cip Nvidia Rubin. Comparațiile trebuie însă privite în context, deoarece arhitecturile și dimensiunile sistemelor sunt radical diferite.

Interesant este că și Cerebras merge spre aceeași idee de separare a etapelor procesării AI. Compania a anunțat anterior un parteneriat prin care GPU-urile AMD Helios sunt folosite pentru prefill, iar sistemele Cerebras se ocupă de decode.

Direcția industriei devine astfel tot mai clară. În locul unui singur tip de accelerator care să facă totul, următoarea generație de centre de date AI ar putea folosi hardware diferit pentru fiecare etapă a procesării. Pentru Nvidia, integrarea tehnologiei Groq în ecosistemul Vera Rubin îi oferă posibilitatea de a controla ambele părți ale ecuației, de la procesarea masivă pe GPU până la generarea extrem de rapidă a răspunsurilor.