NVIDIA prova a far uscire il movimento dai video generati con l’AI
Joints, Camera, Action! genera un video insieme al movimento 3D del personaggio. La ricerca NVIDIA permette di riutilizzare l’animazione sullo scheletro fornito, anche non umano, e controllarla con keyframe.
Che succede
Un modello video può mostrare una scimmia che salta un ostacolo. Portare quel salto in una scena 3D, sul proprio personaggio, è un altro lavoro. Joints, Camera, Action!, una ricerca NVIDIA, prova a produrre insieme il filmato e il movimento tridimensionale che lo anima.
Il sistema riceve uno scheletro, cioè la struttura articolata del personaggio, e una descrizione testuale. Può usare anche un’immagine della scena: il movimento tiene così conto dell’ambiente, mentre una stima della camera permette di allinearlo a ciò che si vede. La struttura non deve essere per forza umana; le dimostrazioni includono personaggi e robot diversi.
Video e movimento vengono generati da due modelli collegati, anziché ricavare tutta l’animazione a posteriori dalle immagini. Alcuni keyframe consentono di guidare la traiettoria. Il metodo può anche estrarre movimento da un video o generare un filmato a partire da un’animazione.
È ancora ricerca, con risultati mostrati e valutati dagli autori. Il suo bersaglio è però ben scelto: ottenere dall’AI un materiale su cui continuare a lavorare, oltre a un video da guardare.
Perché conta
Un salto riuscito in un video resta normalmente chiuso nei suoi pixel. JCA cerca di restituire anche il salto come animazione modificabile: è quel secondo risultato, meno appariscente del filmato, a renderlo interessante per chi costruisce una scena 3D.
Vuoi sapere di più su pillole come questa?