Vai al contenuto

ExecuTorch porta PyTorch sulla GPU del browser

Il backend WebGPU di ExecuTorch esegue nel browser modelli esportati da PyTorch. Una via ancora sperimentale per aggiungere inferenza locale alle applicazioni web senza cambiare formato.

Che succede

Un modello costruito con PyTorch può ora arrivare alla GPU del browser restando nella stessa filiera di strumenti. Il backend WebGPU di ExecuTorch, presentato il 10 novembre, evita il passaggio a formati di altri ecosistemi come ONNX o GGUF: il modello viene esportato in un file .pte, caricato dalla pagina ed eseguito localmente.

Il runtime di ExecuTorch gira in WebAssembly e affida i calcoli alla GPU attraverso WebGPU. Per chi sviluppa un sito, significa poter distribuire il file del modello insieme all’applicazione web, senza chiedere all’utente di installare un programma nativo. Il progetto mostra esempi di trascrizione vocale, rimozione dello sfondo e analisi di immagini, oltre ai modelli linguistici.

Prompt, immagini e audio possono così essere elaborati nella scheda del browser, anziché inviati a un servizio di inferenza.

Nei test degli autori, su M1 Pro con Chrome e Llama 3.2 1B e Qwen3-0.6B quantizzati, WebGPU è da 4 a 7 volte più veloce nell’elaborazione iniziale del prompt e da 2 a 10 nella generazione rispetto al percorso CPU di ExecuTorch. Non è un confronto con il cloud o con altri runtime web. Il backend resta sperimentale e la copertura di modelli e operatori è ancora in sviluppo.

Perché conta

La parte comoda è il percorso fra modello e pagina: un file .pte può arrivare al browser senza una conversione in un altro ecosistema. L’inferenza locale diventa una destinazione della filiera PyTorch, anche per funzioni di immagini e voce.

Vuoi sapere di più su pillole come questa?