Google a creat un algoritm care transformă textul în obiecte 3D: cum funcționează DreamFusion, bazat pe AI

DreamFusion, generatorul Google de ultimă generație, bazat pe inteligență artificială, de text în imagini 3D, este aici.

O lucrare de probă de concept este aici. DreamFusion este o evoluție a Dream Fields, un generator de text în imagini 3D, dezvăluit de Google în 2021. Și, la fel ca Dream Fields, DreamFusion își creează imaginile 3D combinând un Neural Radiance Field (NeRF) – sau o rețea neurală care poate crea scene 3D sintetice folosind seturi de date 2D parțiale – cu un model text-to-image pre-antrenat.

Spre deosebire de Dream Fields, care a folosit tehnologia CLIP a OpenAI ca acest ultim model pre-antrenat, DreamFusion folosește acum propriul său sistem: Imagen, concurentul Google DALL-E 2. Deci, practic, Google a pornit cu tehnologia OpenAI a lui Elon Musk și și-a dat seama cum să o folosească pe a sa.

Google nu încetează să ne surprindă

„Sunt bucuros să anunț DreamFusion, noua noastră metodă pentru Text-to-3D!”, a scris pe Twitter Ben Poole, cercetător la Google Brain și coautor al lucrării de demonstrare a conceptului.

„Optimizăm un NeRF de la zero folosind un model de difuzare text-to-image pre-antrenat. Nu sunt necesare date 3D!”.

Deși modelele DreamFusion nu sunt complet realiste, ele sunt, desigur, destul de impresionante – așa cum explică creatorii lucrării, formularele generate de AI care sunt afișate pe site-ul său sunt „coerente, cu valori normale de înaltă calitate, geometrie de suprafață și profunzime și sunt reiluminabile cu un model de umbrire Lambertian”.

Ce a pățit o badantă din Italia după ce a pus mâna pe o moștenire de 317.000 de euro. A forțat bătrâna să stea în „exil” timp de 8 ani în Tulcea

Scandalurile în care a fost implicată Regina Letizia a Spaniei. Acuzațiile de infidelitate care au zdruncinat imaginea familiei regale

Cu alte cuvinte, deși s-ar putea să nu fie la fel de convingător de realiste ca unele dintre acele imagini fotorealiste DALL-E 2, au toate elementele potrivite. Proporțiile sunt corecte, profunzimea are sens și așa mai departe. Și nu pentru a umbri OpenAI, dar această următoare versiune a tehnologiei este cu siguranță o îmbunătățire vizuală de la prima sa iterație.

Nu este clar când DreamFusion – sau orice urmează – va fi disponibil publicului, deși cu siguranță putem vedea deja o serie de aplicații. Gândiți-vă doar la valoarea pentru dezvoltatorii de jocuri indie. Și conform Twitter, a fost deja folosit pentru a imprima 3D o fantomă care mănâncă un hamburger, așa că felicitări pentru asta.