Come Cerebras distribuisce un modello enorme su chip da 44 GB
Cerebras descrive una pipeline in cui i pesi del modello rimangono nella memoria dei chip e viaggiano i risultati intermedi. Nell’esempio Kimi K3, circa 3.000 miliardi di parametri vengono distribuiti su 59 wafer.
Che succede
Un chip Cerebras WSE-3T ha 44 GB di memoria direttamente sul wafer. Un modello da migliaia di miliardi di parametri richiede terabyte soltanto per i pesi. La spiegazione di Cerebras parte da questa sproporzione e la risolve distribuendo il modello lungo una catena di chip.
L’esempio è Kimi K3, con circa 3.000 miliardi di parametri. Con pesi a 4 bit, gli autori stimano circa 16 GB per strato. I chip che ospitano strati con attenzione completa devono conservare anche la cache dei token delle richieste attive; quelli con attenzione lineare possono ospitare due strati. Nelle ipotesi dell’esempio si arriva a 59 wafer.
I pesi rimangono al loro posto. Da un wafer al successivo passano le attivazioni, i risultati intermedi del calcolo. Per tenere occupata la catena, stadi diversi elaborano richieste diverse contemporaneamente, come postazioni di una linea di produzione.
Il compromesso riguarda anche quante richieste raggruppare: gruppi piccoli favoriscono la velocità della singola risposta, gruppi più grandi la quantità totale di lavoro. E la cache disponibile limita le richieste simultanee. I 59 wafer sono una configurazione illustrativa, con ipotesi precise su quantizzazione e contesto, non la ricetta di ogni installazione Cerebras.
Perché conta
La memoria veloce di un wafer non basta per tutto Kimi K3, ma può bastare per interi strati. Cerebras costruisce la pipeline attorno a questa proporzione: lascia fermi i pesi e fa passare il lavoro, mentre la cache decide quante richieste possono starci insieme.
Leggi la fonte
CerebrasVuoi sapere di più su pillole come questa?