NVIDIA prova a far uscire il movimento dai video generati con l’AI

Un modello video può mostrare una scimmia che salta un ostacolo. Portare quel salto in una scena 3D, sul proprio personaggio, è un altro lavoro. Joints, Camera, Action!, una ricerca NVIDIA, prova a produrre insieme il filmato e il movimento tridimensionale che lo anima.

Il sistema riceve uno scheletro, cioè la struttura articolata del personaggio, e una descrizione testuale. Può usare anche un’immagine della scena: il movimento tiene così conto dell’ambiente, mentre una stima della camera permette di allinearlo a ciò che si vede. La struttura non deve essere per forza umana; le dimostrazioni includono personaggi e robot diversi.

Video e movimento vengono generati da due modelli collegati, anziché ricavare tutta l’animazione a posteriori dalle immagini. Alcuni keyframe consentono di guidare la traiettoria. Il metodo può anche estrarre movimento da un video o generare un filmato a partire da un’animazione.

È ancora ricerca, con risultati mostrati e valutati dagli autori. Il suo bersaglio è però ben scelto: ottenere dall’AI un materiale su cui continuare a lavorare, oltre a un video da guardare.