Microsoft mostra come ha costruito MAI-Base-2

Per anni la corsa ai modelli è stata raccontata soprattutto attraverso quanto calcolo si riusciva ad aggiungere. Nel resoconto su MAI-Base-2, Microsoft mette al centro quanto riesce a ricavarne: una combinazione di dati, architettura e infrastruttura pensata per rendere sostenibile un modello molto più grande.

MAI-Base-2 usa un’architettura mixture-of-experts con 2.800 miliardi di parametri totali, di cui 80 miliardi attivi per token. È stato addestrato su 16 mila GPU GB200 per 38 giorni. Fra gli accorgimenti descritti c’è un modo di provare modelli piccoli riproducendo quante volte rivedranno gli stessi dati: una prova economica diventa più rappresentativa di quella enorme che seguirà.

Microsoft dichiara un’efficienza di pre-training da quattro a dodici volte superiore a DeepSeek-V4-Pro-Base nelle proprie valutazioni, usando il risparmio per aumentare la scala. È un confronto sul calcolo necessario a raggiungere certi risultati, non la misura di un chatbot dodici volte migliore. MAI-Base-2 è ancora in post-training; il prodotto da usare arriverà dopo.