AMD pune un supercomputer pe birou: noua stație poate rula modele AI uriașe

AMD a prezentat la Berlin o stație de lucru construită pentru o generație de aplicații AI care are nevoie de mult mai multă putere de calcul decât poate oferi un sistem desktop obișnuit. Threadripper Halo Station combină procesoare și acceleratoare de ultimă generație cu o cantitate neobișnuit de mare de memorie, iar compania susține că poate rula local modele AI cu peste un trilion de parametri.

Produsul a fost prezentat de Jack Huynh, Senior Vice President al AMD, în cadrul Internationale Funkausstellung (IFA). Compania îl descrie drept un „supercomputer personal”, ideea fiind să aducă pe birou o parte din capacitatea de calcul întâlnită în centrele de date. În loc ca modelele AI foarte mari să fie procesate exclusiv în cloud, o organizație ar putea să le ruleze direct pe propria infrastructură, scrie Euronews.com.

Ce ascunde stația de lucru AMD

Threadripper Halo Station poate fi configurat cu până la 2 TB de memorie RAM și până la 576 GB de memorie HBM3E, un tip de memorie cu lățime mare de bandă, important pentru sarcini care presupun procesarea unor cantități uriașe de date. Sistemul poate include un procesor Threadripper Pro cu 96 de nuclee și două acceleratoare AMD MI350P destinate inițial segmentului de centre de date. Pentru răcirea întregului ansamblu este folosit un sistem cu lichid.

AMD susține că această combinație îi permite stației să ruleze modele AI care depășesc pragul de un trilion de parametri fără ca procesarea să fie mutată într-un centru de date. Pentru a demonstra ce poate face sistemul, Huynh a arătat la eveniment cum poate fi generată o lume 3D completă, împreună cu un simulator de zbor, pornind de la un singur prompt.

Aici se află și miza principală a produsului. AMD nu încearcă doar să construiască o stație mai rapidă pentru profesioniști, ci să ofere companiilor și instituțiilor posibilitatea de a lucra cu modele AI foarte mari fără să depindă în permanență de servicii cloud. Pe măsură ce utilizarea modelelor generative și a sistemelor AI autonome crește, costurile pentru procesarea lor în cloud pot deveni importante, mai ales în cazul organizațiilor care rulează astfel de sisteme în mod constant.

AMD intră direct în competiție cu Nvidia

Cel mai apropiat rival al Threadripper Halo Station este Nvidia DGX Station, care urmărește aceeași idee: suficientă putere de calcul pentru modelele AI foarte mari, într-un sistem care poate fi instalat local. Cele două produse au însă abordări diferite.

AMD pune accentul pe cantitatea și viteza memoriei. Potrivit companiei, configurația Threadripper Halo poate ajunge la o capacitate de memorie de peste trei ori mai mare decât cea oferită de sistemul concurent Nvidia, ceea ce îi permite să țintească modele cu un număr foarte mare de parametri. Nvidia are însă avantajul disponibilității, DGX Station fiind deja comercializat, la un preț de aproximativ 100.000 de euro, precum și al unei integrări mai directe atunci când un proiect trebuie mutat între sistemul local și infrastructura cloud.

În cazul AMD, lansarea este programată pentru începutul anului viitor, iar prețul nu a fost anunțat. Totuși, configurația hardware și poziționarea produsului indică faptul că nu vorbim despre un PC pe care să-l găsești în configurația obișnuită a unui birou. Este mai degrabă o platformă pentru companii, laboratoare și instituții care au nevoie să ruleze modele AI mari pe propriile echipamente.

Apariția unor astfel de sisteme arată și cum se schimbă piața de calcul pentru AI. Până acum, accesul la modelele foarte mari a fost legat în mare măsură de centre de date și servicii cloud. Stații precum Threadripper Halo încearcă să aducă o parte din această capacitate mai aproape de cei care dezvoltă și folosesc AI, oferind posibilitatea de a păstra modelele și datele în propria infrastructură.