Vai al contenuto

Google adatta le TPU alla riservatezza e ai contesti lunghi

Le nuove configurazioni TPU 8tx e 8i Max usano chip dell’ottava generazione: la prima punta al calcolo riservato, la seconda combina due 8i per raddoppiare calcolo, SRAM e banda HBM.

Che succede

Google aggiunge due sistemi alla sua ottava generazione di TPU, gli acceleratori per l’AI: 8tx e 8i Max. I nomi nuovi indicano configurazioni costruite intorno al silicio esistente. Cambiano il modo di proteggere i dati e di alimentare il calcolo con la memoria necessaria.

La TPU 8tx usa lo stesso silicio della 8t, affiancato da processori AMD EPYC di quinta generazione e dalla rete a bassa latenza Boardfly. È pensata per inferenza riservata e addestramenti di scala ridotta. Secondo Google, l’isolamento hardware protegge dati e pesi del modello anche durante l’elaborazione: proprio il momento in cui, nei sistemi ordinari, i dati cifrati devono essere aperti in memoria per essere usati.

La 8i Max affronta un altro limite. Riunisce due chip 8i nello stesso package e raddoppia, rispetto alla 8i, calcolo, memoria SRAM e banda della memoria HBM. Quando un agente lavora su grandi quantità di codice o su contesti molto lunghi, aspettare che arrivino i dati può lasciare inutilizzata parte della capacità di calcolo. Aumentare insieme quelle risorse serve a ridurre lo squilibrio; non equivale a promettere che ogni applicazione andrà due volte più veloce.

Il mese scorso Google aveva aperto le TPU a PyTorch con TorchTPU; ora specializza anche l’hardware per carichi diversi. Chi elabora informazioni riservate cerca isolamento anche durante l’uso; chi mantiene contesti enormi ha bisogno che memoria e calcolo crescano insieme. Un unico numero di prestazioni racconta poco di entrambe.

Perché conta

La 8i Max mette due chip nello stesso package e fa crescere insieme calcolo e risorse di memoria. È una risposta concreta al tempo passato ad aspettare i dati: per gli agenti dai contesti lunghi, aggiungere potenza senza riuscire ad alimentarla può lasciare il problema dov’era.

Vuoi sapere di più su pillole come questa?

Nella stessa edizione

AI

Google adatta le TPU alla riservatezza e ai contesti lunghi

Stai leggendo