Come Apple fa spazio a un modello AI da 20 miliardi di parametri

Per far stare un modello AI da 20 miliardi di parametri in un dispositivo personale, Apple evita di tenerlo tutto nella memoria di lavoro. AFM 3 Core Advanced conserva il modello completo nella flash, lo spazio usato per archiviare i file, e carica nella RAM la parte necessaria alla richiesta.

Il modello è diviso in “esperti”, gruppi di parametri che vengono selezionati in base alla richiesta. Secondo Apple ne restano attivi da uno a quattro miliardi alla volta. La scelta viene mantenuta per una parte della generazione, anziché ricaricare gli esperti a ogni parola: il trasferimento dalla flash sarebbe troppo lento.

Julien Simon ha analizzato il sistema su un MacBook Pro M3 Max con 48 GB di memoria. Il suo rapporto trova un archivio di pesi da circa 4,95 GB e 636 MiB di pagine statiche del modello residenti nella memoria gestita per il Neural Engine. A queste si aggiungono altre aree di lavoro: 636 MiB non è il consumo totale.

Su quel Mac i pesi configurati restano caricati: il test non dimostra come avvenga il passaggio dalla flash alla RAM su un iPhone con meno memoria. L’analisi esplora il funzionamento di un modello annunciato a giugno, con una distinzione utile fra ciò che Apple descrive e ciò che Simon ha potuto osservare.