OpenAI își face propriile cipuri AI și spune că unul dintre ele depășește Nvidia la eficiență
OpenAI a prezentat primele rezultate oficiale pentru Jalapeño, un cip creat special pentru rularea modelelor de inteligență artificială. Compania susține că acceleratorul dezvoltat împreună cu Broadcom poate obține între 1,5 și 1,9 ori mai multă performanță pentru fiecare kilowatt consumat decât sistemele Nvidia GB200 și GB300, în anumite teste de inferență.
Jalapeño este un ASIC dedicat inferenței, nu un GPU generalist. Cipul are un consum nominal de 700 W, în timp ce acceleratorul GB300 folosit în comparațiile prezentate de OpenAI este cotat la 1.400 W. Compania intenționează să înceapă instalarea Jalapeño în propriile centre de date înainte de sfârșitul anului 2026, ceea ce ar putea reduce dependența sa de acceleratoarele Nvidia pentru anumite sarcini, scrie tomshardware.com.
Jalapeño a fost testat pe trei modele AI
Rezultatele prezentate la conferința Hot Chips au fost obținute folosind suita publică InferenceX de la SemiAnalysis. Testele au vizat trei modele de inteligență artificială: GPT-OSS 120B, DeepSeek R1 670B și Kimi K2.5 de la Moonshot AI, acesta din urmă având aproximativ un trilion de parametri.
Potrivit OpenAI, avantajul Jalapeño este cel mai vizibil atunci când sunt urmărite valori reduse ale latenței. În aceste scenarii, compania susține că cipul poate obține între 1,7 și 3,6 ori mai puțină latență end-to-end decât sistemele Nvidia GB200 și GB300.
În anumite puncte de funcționare analizate în cadrul testelor, diferențele raportate sunt chiar mai mari. OpenAI afirmă că Jalapeño a ajuns la un avantaj de până la 8,6-104,3 ori în ceea ce privește performanța raportată la consum, atunci când comparația a fost făcută cu cele mai rapide setări anterioare ale GB300 pentru intervalul dintre tokeni.
Trebuie însă ținut cont de modul în care au fost realizate comparațiile. OpenAI și-a raportat rezultatele folosind consumul nominal al acceleratorului, în timp ce compania spune că Jalapeño a consumat efectiv cel mult aproximativ 550 W în timpul testelor. O comparație bazată pe consumul total al sistemului restrânge diferența. Într-un astfel de scenariu, Jalapeño este cotat la aproximativ 1,18 kW per accelerator, față de 2,55 kW pentru GB300.
Nvidia Vera Rubin nu a intrat în comparație
Rezultatele prezentate de OpenAI nu înseamnă că Jalapeño a depășit toate cele mai noi soluții Nvidia. Un detaliu important este că testele nu au inclus Vera Rubin, noua platformă Nvidia pe care OpenAI intenționează să o folosească în cadrul unui acord pentru implementarea unor sisteme cu o capacitate totală de 10 GW începând din a doua jumătate a lui 2026.
De asemenea, Jalapeño este conceput pentru inferență, adică pentru rularea modelelor deja antrenate și generarea răspunsurilor. Nu este destinat antrenării modelelor AI, domeniu în care acceleratoarele Nvidia continuă să aibă un rol dominant.
Mai există și o diferență în modul de utilizare. Principalele comparații au pus Jalapeño în fața unor configurații GB200 și GB300 care foloseau predicția unui singur token. În centrele de date, Nvidia este folosită frecvent și cu tehnici precum multi-token prediction, care pot schimba rezultatele privind eficiența.
SemiAnalysis, care spune că a rulat testele InferenceX împreună cu inginerii OpenAI în laboratorul companiei, a evaluat totuși Jalapeño foarte favorabil și a afirmat că acesta a depășit toate cipurile Nvidia, AMD și Google testate de organizație în acele condiții.
OpenAI pune accent pe memoria HBM4
Jalapeño are o configurație interesantă și din punct de vedere al memoriei. Fiecare pachet integrează cipul de calcul împreună cu șase stive HBM4, pentru un total de 216 GB de memorie cu o lățime de bandă de 15,4 TB/s.
Prin comparație, GB300 are 288 GB de HBM3E și un consum nominal de 1.400 W. Asta înseamnă că Jalapeño oferă mai multă memorie raportată la fiecare watt de consum, chiar dacă are o capacitate totală mai mică.
Arhitectura cipului a fost construită în jurul unei probleme pe care OpenAI o consideră importantă pentru inferența AI: folosirea eficientă a întregii lățimi de bandă disponibile a memoriei HBM. Ideea nu este pur și simplu să adaugi mai multă memorie, ci să faci arhitectura suficient de eficientă pentru a putea folosi cât mai bine resursele deja disponibile.
Memoria HBM este însă una dintre cele mai dificile componente de procurat în prezent pentru producătorii de cipuri AI. Samsung, SK hynix și Micron au deja o mare parte din capacitatea de producție rezervată pentru următorii ani, iar extinderea Jalapeño la nivelul planurilor OpenAI ar putea pune compania în competiție directă cu Nvidia pentru aprovizionarea cu HBM4.
OpenAI pregătește deja următoarea generație de cipuri
Jalapeño este doar începutul strategiei OpenAI de a-și dezvolta propriul hardware pentru inteligență artificială. Primul cip a ajuns de la etapa RTL la tapeout în aproximativ nouă luni, iar compania lucrează deja la o a doua generație.
Potrivit informațiilor citate în material, următorul cip se apropie de etapa de tapeout și ar putea ajunge acolo în următoarele luni. În paralel, OpenAI lucrează deja la conceptele pentru o a treia generație.
Prima generație Jalapeño ar utiliza un proces de fabricație TSMC din clasa de 3 nm. Asta înseamnă că OpenAI va concura pentru aceleași resurse de producție avansată, memorie și packaging pe care le folosesc și marii producători de acceleratoare AI.
Strategia este importantă pentru OpenAI deoarece compania are nevoie de o cantitate uriașă de putere de calcul pentru a-și rula serviciile. Dacă Jalapeño poate oferi într-adevăr un avantaj consistent la performanță raportată la consum, folosirea sa la scară largă ar putea reduce costurile de inferență și ar permite companiei să obțină mai multe operațiuni AI din aceeași cantitate de energie.