Vai al contenuto

MLPerf cronometra anche l’addestramento degli agenti

MLPerf Training 6.1 introduce un test di apprendimento per rinforzo su compiti software. Misura il tempo necessario a raggiungere una qualità definita con Qwen3.5-397B, includendo il lavoro di generazione e aggiornamento del modello.

Che succede

Per insegnare a un agente AI a risolvere un problema software, il sistema deve anche lasciarlo provare. Generare codice, valutarne il risultato e aggiornare il modello impone un carico diverso dal solo addestramento su esempi già pronti. MLPerf Training 6.1, pubblicato il 16 novembre, introduce un test proprio per questa fase.

Il nuovo benchmark usa Qwen3.5-397B e l’apprendimento per rinforzo GRPO per migliorare la capacità di affrontare compiti software e usare strumenti. Il cronometro misura quanto impiega l’intero sistema a raggiungere un livello di qualità stabilito, partendo da un modello di riferimento. Entrano quindi nel risultato anche il software e il modo in cui le diverse fasi si tengono occupate a vicenda.

Google, per esempio, dichiara che 640 TPU Ironwood hanno raggiunto l’obiettivo del test in 18,02 minuti, facendo procedere insieme generazione del codice e apprendimento. È un risultato di quella configurazione, non il tempo necessario a creare da zero un agente. La stessa tornata accoglie le GPU NVIDIA Rubin e un nuovo test per i sistemi di raccomandazione: il catalogo dei lavori misurati si sta avvicinando a quello che queste macchine vengono davvero chiamate a fare.

Perché conta

Mentre un agente prova una soluzione, i chip che lo addestrano possono restare in attesa. Far lavorare insieme queste fasi diventa parte della prestazione: il nuovo test porta alla luce un’organizzazione del lavoro che il solo numero di operazioni al secondo lascia nascosta.

Leggi le fonti

MLCommonsGoogle

Vuoi sapere di più su pillole come questa?