Vai al contenuto

Muse Spark Open gira su due Mac. Con un terabyte di memoria

Meta pubblica i pesi del modello da 816 miliardi di parametri: ospitarlo in proprio è possibile, con hardware fuori dall’ordinario.

Che succede

Un modello da 816 miliardi di parametri che gira su una scrivania è una dimostrazione notevole. Quella scrivania, però, ospita due Mac Studio M5 Ultra con 512 GB di memoria ciascuno. È la configurazione mostrata per Muse Spark Open, il modello multimodale di cui Meta ha pubblicato i pesi il 15 ottobre.

Il modello attiva circa 42 miliardi di parametri per token: non usa tutti i pesi a ogni passaggio, ma deve comunque trovare loro posto. Ecco perché la memoria dei due computer è centrale nella dimostrazione.

Le richieste possono così restare su un sistema gestito da chi lo usa, anziché passare ogni volta da un servizio remoto. È un’autonomia che richiede un terabyte di memoria e resta soggetta alle condizioni della licenza Meta. La scrivania è domestica; la configurazione decisamente meno.

Perché conta

Qui eseguire il modello in proprio significa soprattutto trovare posto ai pesi: viene attivata solo una parte dei parametri, ma la memoria serve per tutti.

Vuoi sapere di più su pillole come questa?