Per un piccolo assistente sul Mac, il Neural Engine consuma molto meno della GPU
Nel test MacPaw con un modello da 2,6 miliardi di parametri, il Neural Engine riduce molto l’energia rispetto alla GPU. I contesti lunghi favoriscono soluzioni miste.
Che succede
Un assistente locale può rispondere abbastanza in fretta e lasciare comunque il portatile caldo e scarico. MacPaw ha studiato l’altra metà del problema: quanto costa in energia far girare un piccolo modello sul Neural Engine, l’acceleratore già presente nei chip Apple Silicon e poco sfruttato dai motori LLM abituali.
Con LFM2.5-2.6B su tre Mac, il suo motore basato su Core AI di macOS 27 nelle richieste tipiche del test richiede fra un terzo e poco più di un quarto dell’energia di MLX a 8 bit con decodifica speculativa. La velocità resta competitiva, ma non vince su ogni macchina e richiesta.
Con contesti lunghi conviene anche spartire il lavoro fra Neural Engine e GPU. Il risultato suggerisce un assistente che sceglie come usare il Mac in base al carico e all’alimentazione. L’autonomia fino a 1,8 volte superiore riportata sul MacBook Pro è una proiezione, non una batteria scaricata fino in fondo.
Perché conta
Usare il Neural Engine per alcune richieste lascia anche più spazio sulla GPU all’interfaccia e agli altri modelli in esecuzione.
Leggi la fonte
LLM Inference on the Apple Neural Engine (Website)Vuoi sapere di più su pillole come questa?