TorchTPU porta i chip di Google dentro PyTorch
Con TorchTPU, le TPU diventano un backend nativo di PyTorch, con integrazioni per Transformers e Diffusers. Il supporto è ancora incompleto, ma permette di provarle con strumenti già familiari.
Che succede
Le TPU di Google sono cresciute soprattutto intorno a TensorFlow e JAX. Per chi lavorava con PyTorch, usarle attraverso PyTorch/XLA comportava anche un’esecuzione e una compilazione meno familiari. TorchTPU, aperto il 20 ottobre, le rende un backend nativo di PyTorch.
Hugging Face mostra modelli caricati direttamente sul dispositivo «tpu», integrazioni con Transformers e Diffusers e il passaggio dall’esecuzione immediata a quella compilata. Sono previsti anche strumenti per distribuire un modello su più chip.
Il lavoro è ancora in corso: Hugging Face riporta un successo del 96,5% nei test eseguiti sulle TPU, con problemi aperti. L’integrazione avvicina però questi acceleratori all’ambiente già usato da una larga parte degli sviluppatori AI.
Perché conta
Google sta portando le TPU dove sono già molti sviluppatori, dentro PyTorch. È un’apertura interessante per chip rimasti a lungo legati soprattutto al suo ecosistema software.
Leggi la fonte
Hugging FaceVuoi sapere di più su pillole come questa?
Nella stessa edizione
ChatGPT ha un modello separato che cerca il momento per un annuncio
Granite Speech aggiunge l’italiano al modello da 470 milioni di parametri
llm-d 1.0 mette ordine nelle code dei modelli condivisi
Google Cloud venderà anche i modelli OpenAI, accanto a Gemini
Gemini ricorda lo stile del marchio fra un’immagine e la successiva
Nvidia genera scene chirurgiche che seguono i movimenti degli strumenti
FairStress misura quali decisioni un’AI è più disposta a cambiare
TorchTPU porta i chip di Google dentro PyTorch
Con Voxtral 3 Mistral collega la conversazione ai servizi
Prossima Pillola