Google adatta le TPU alla riservatezza e ai contesti lunghi
Le nuove configurazioni TPU 8tx e 8i Max usano chip dell’ottava generazione: la prima punta al calcolo riservato, la seconda combina due 8i per raddoppiare calcolo, SRAM e banda HBM.
Che succede
Google aggiunge due sistemi alla sua ottava generazione di TPU, gli acceleratori per l’AI: 8tx e 8i Max. I nomi nuovi indicano configurazioni costruite intorno al silicio esistente. Cambiano il modo di proteggere i dati e di alimentare il calcolo con la memoria necessaria.
La TPU 8tx usa lo stesso silicio della 8t, affiancato da processori AMD EPYC di quinta generazione e dalla rete a bassa latenza Boardfly. È pensata per inferenza riservata e addestramenti di scala ridotta. Secondo Google, l’isolamento hardware protegge dati e pesi del modello anche durante l’elaborazione: proprio il momento in cui, nei sistemi ordinari, i dati cifrati devono essere aperti in memoria per essere usati.
La 8i Max affronta un altro limite. Riunisce due chip 8i nello stesso package e raddoppia, rispetto alla 8i, calcolo, memoria SRAM e banda della memoria HBM. Quando un agente lavora su grandi quantità di codice o su contesti molto lunghi, aspettare che arrivino i dati può lasciare inutilizzata parte della capacità di calcolo. Aumentare insieme quelle risorse serve a ridurre lo squilibrio; non equivale a promettere che ogni applicazione andrà due volte più veloce.
Il mese scorso Google aveva aperto le TPU a PyTorch con TorchTPU; ora specializza anche l’hardware per carichi diversi. Chi elabora informazioni riservate cerca isolamento anche durante l’uso; chi mantiene contesti enormi ha bisogno che memoria e calcolo crescano insieme. Un unico numero di prestazioni racconta poco di entrambe.
Perché conta
La 8i Max mette due chip nello stesso package e fa crescere insieme calcolo e risorse di memoria. È una risposta concreta al tempo passato ad aspettare i dati: per gli agenti dai contesti lunghi, aggiungere potenza senza riuscire ad alimentarla può lasciare il problema dov’era.
Leggi la fonte
Google — TPU 8tx e 8i MaxVuoi sapere di più su pillole come questa?