Runway apre i pesi di Praxis-1, per adattare il modello a robot diversi
Pesi e codice Apache 2.0 rendono disponibile Praxis-1 fuori dai progetti dei partner Runway. Il modello genera insieme previsioni video e comandi; il rilascio include gli strumenti per adattarlo a robot e compiti diversi.
Che succede
Runway ha pubblicato i pesi e il codice di Praxis-1, il modello per robot presentato a settembre e finora utilizzato dai partner. Dall’11 novembre sono disponibili su GitHub e Hugging Face con licenza Apache 2.0, anche per uso commerciale: si possono eseguire, studiare e adattare senza passare da un servizio di Runway.
Praxis-1 prevede insieme ciò che il robot vedrà e i movimenti da eseguire. Riceve un’istruzione, come mettere un oggetto in una ciotola, le immagini delle telecamere e la posizione del braccio; produce il prossimo tratto di video e la sequenza di comandi corrispondente. Il robot esegue quei movimenti e le osservazioni successive tornano al modello. L’addestramento sui video gli dà una base per riconoscere come si muovono gli oggetti, da adattare poi all’hardware e ai compiti specifici.
Il rilascio comprende versioni per un braccio e per due braccia, oltre al modello di base e al codice per il fine-tuning. Un altro robot può avere telecamere e comandi diversi: l’apertura permette di lavorare su quelle differenze, invece di dipendere soltanto dalle integrazioni scelte da Runway e dai suoi partner.
Il requisito hardware resta impegnativo. Il percorso rapido del repository richiede una GPU CUDA con almeno 80 GB di memoria; la guida documenta anche l’adattamento leggero tramite LoRA a un nuovo compito su una GPU da 80 GB. Runway cita inoltre percorsi ottimizzati per altre schede e Jetson Thor. L’apertura rende disponibile il lavoro di adattamento, con i suoi dati e la sua calibrazione, a chi vuole costruire su questa base.
Perché conta
Con Praxis-1 si apre anche il lavoro tra il modello e il braccio meccanico: adattare telecamere, comandi e compiti. È ciò che permette a chi costruisce un robot diverso da quelli mostrati da Runway di farne una base propria, anziché fermarsi alla demo.
Vuoi sapere di più su pillole come questa?