Vai al contenuto

PyTorch 2.15 sistema alcuni degli sprechi di memoria dell’AI sul Mac

La candidata PyTorch 2.15 corregge consumi anomali di memoria e immagini corrotte su Mac. Aggiunge pesi FP8, senza dimostrare una superiorità su MLX o CUDA.

Che succede

Su un Mac, un modello può esaurire la memoria anche per come il software esegue un’operazione. Nella candidata PyTorch 2.15, il gruppo Hugging Face che contribuisce al progetto ha spostato alcune operazioni su nuovi percorsi Metal, l’interfaccia di Apple per usare la GPU. In un test sulla decodifica video di Wan2.2, il picco di memoria del driver scende da circa 270 a 8 GiB: viene eliminata una crescita anomala, non ridotto a 8 GB il fabbisogno dell’intera generazione video.

La stessa correzione risolve immagini corrotte nel passaggio di codifica e decodifica di Qwen-Image-2.1. Arriva anche il supporto ai pesi FP8, che occupano un byte per valore anziché i due di BF16. È un risparmio nello spazio dei pesi, non la promessa di dimezzare tutta la memoria o accelerare qualsiasi modello.

Sono miglioramenti per chi usa già PyTorch con Transformers, Diffusers o strumenti come ComfyUI. I test pubblicati dai contributori non stabiliscono una superiorità su MLX o CUDA. La 2.15 resta una release candidate e richiede macOS 15 e Python 3.11 o successivi.

Perché conta

Una GPU può avere memoria sufficiente per il modello e sprecarla eseguendolo. Qui una parte del limite era nel software, non nel Mac.

Vuoi sapere di più su pillole come questa?