Pika H3 Flex separa il suono e guida il video con dodici riferimenti

Pika H3 Flex, derivato da MiniMax H3, prova a rendere il video generato più modificabile. Accetta fino a dodici riferimenti combinando immagini, audio e video: si può indicare il personaggio con un’immagine, l’ambiente con un’altra e il movimento con un filmato. I riferimenti servono a specificare aspetti diversi della stessa scena, invece di affidare tutto a una descrizione testuale.

Il modello genera anche audio stereo sincronizzato. Attraverso l’API Pika si possono chiedere cinque tracce separate: dialoghi, musica, effetti sonori, rumori di azioni e oggetti, suono d’ambiente. Nel montaggio diventa possibile cambiare il volume della musica o lavorare sugli effetti senza trascinare con sé tutte le altre parti del suono.

Pika distribuisce i pesi degli adapter e il codice di inferenza, ma le tracce separate e l’upscaling restano funzioni del servizio Pika. Il modello genera nativamente a 480p o 768p: il 4K arriva da un passaggio successivo di aumento della risoluzione. Flex è già accessibile attraverso l’API; l’arrivo nel prodotto creativo Pika è annunciato per il 2 novembre.