Deși capturarea unei fotografii simple ar fi de obicei suficientă, dacă ai mai aștepta câteva secunde pentru a face acea fotografie „mișcabilă”, ai face-o?
Firma de tehnologie de procesare grafică Nvidia a construit un instrument AI care accelerează semnificativ procesul de conversie a imaginilor 2D în scenarii 3D (cunoscute în industrie sub numele de NeRF, prescurtare de la câmpurile de radiație neuronală) – parcurgând pasul de 1.000 de ori mai rapid decât programele existente, se spune. Rezultatele sunt atât de impresionante și imediate, încât este chiar etichetat termenul „Instant” în fața lui și marca Instant NeRF.
În esență, NeRF-urile se bazează pe rețelele neuronale pentru a analiza o selecție de imagini 2D, pentru a le descifra și apoi le asambla în imagini la 360 de grade, care pot fi vizualizate din diferite perspective. În timp ce tehnicile tradiționale de conversie 3D pot dura ore, modelele NeRF existente pot face treaba în câteva minute.
Tehnologia Nvidia accelerează acest proces și transformă fotografiile statice în scenarii 3D „aproape instantaneu”, datorită unei metode brevetate și denumită „codare grilă hash cu rezoluție multiplă”, care face munca grea în doar câteva milisecunde.
Merită remarcat faptul că Instant NeRF, ca și în cazul tehnicilor obișnuite NeRF, necesită câteva zeci de fotografii realizate din mai multe poziții ale camerei pentru a produce o imagine 3D precisă. Chiar și așa, nu are nevoie de o cantitate ridicolă de date pentru a lucra, recunoscând provocarea suplimentară a mișcărilor de la capturarea prea multor fotografii, care ar putea crea neclarități.
„Într-o scenă care include oameni sau alte elemente în mișcare, cu cât aceste fotografii sunt capturate mai repede, cu atât mai bine”, explică echipa într-o postare pe blog. „Dacă există prea multă mișcare în timpul procesului de captare a imaginii 2D, scena 3D generată de AI va fi neclară.”
Ca atare, Instant NeRF conectează punctele dintre scenele lipsă, prezicând iluminarea și posibilele schimbări de culoare din toate direcțiile, pentru a genera o imagine 3D completă și realistă.
Pentru a ilustra inovația, membrii echipei Nvidia au recreat o fotografie faimoasă a lui Andy Warhol cu camera sa instant. Omagiu comemorează 75 de ani de la prima fotografie instant Polaroid.
Pe măsură ce trecem în medii 3D, Nvidia prevede că Instant NeRF va evolua într-un format esențial asemănător JPEG-urilor pentru fotografie. Aplicațiile potențiale includ crearea de avataruri și proiectarea arhitecturii pentru lumi virtuale, pe lângă antrenarea mașinilor și roboților cu conducere autonomă pentru a percepe mai bine măsurătorile obiectelor din lumea reală.
„Dacă reprezentările 3D tradiționale, cum ar fi rețelele poligonale, sunt asemănătoare imaginilor vectoriale, NeRF-urile sunt ca imaginile bitmap: ele captează dens modul în care radiația luminii dintr-un obiect sau dintr-o scenă”, descrie David Luebke, vicepreședinte pentru cercetare grafică la NVIDIA. „În acest sens, Instant NeRF ar putea fi la fel de important pentru 3D precum au fost camerele digitale și compresia JPEG pentru fotografia 2D – crescând considerabil viteza, ușurința și acoperirea captării și partajării 3D”.
