DeepSeek apre il motore con cui esegue V4.1-Flash

DeepSeek ha pubblicato DeepInfer, una parte del software che usa per far girare i modelli nei suoi servizi. Per chi finora poteva scaricarne i pesi, si apre un altro pezzo del lavoro: come distribuire i calcoli e tenere occupati gli acceleratori durante la generazione delle risposte. Il codice ha licenza Apache 2.0.

Il rilascio permette di eseguire V4.1-Flash su GPU NVIDIA SM100 e acceleratori Huawei Ascend 950. Comprende kernel ottimizzati e decodifica speculativa, che propone più token e poi li verifica. Sono scelte pensate per spremere infrastrutture su larga scala, con hardware ben preciso.

Quello disponibile è il motore per l’inferenza offline. Per costruirci un servizio completo vanno aggiunti, fra gli altri, un sistema di cache KV, che conserva i calcoli già fatti sul contesto, e il bilanciamento delle richieste fra le repliche. DeepSeek rende ispezionabile molta ingegneria che di solito resta dietro l’API, pur lasciando ancora da assemblare una parte del servizio.