Vai al contenuto

Dust addestra piccoli transformer senza backpropagation

Q Labs sperimenta un’alternativa al consueto addestramento delle reti neurali, ottenendo risultati comparabili con molto più calcolo.

Che succede

Q Labs ha presentato Dust, un metodo per addestrare modelli linguistici senza il normale passaggio all’indietro della backpropagation. Quel passaggio calcola come ogni parte della rete contribuisce all’errore, così da correggerla.

Dust introduce invece piccole perturbazioni nelle attivazioni, i valori intermedi prodotti dalla rete, e osserva quali riducono l’errore. Le prove associate ai token vengono valutate insieme, permettendo di esplorare molte variazioni in parallelo.

Gli esperimenti arrivano a transformer da 243 milioni di parametri e a un miliardo di token. Con popolazioni di prove molto grandi il metodo si avvicina alla backpropagation e in alcuni test la supera, ma richiede molto più calcolo. Gli autori indicano proprio l’efficienza come il problema da risolvere prima di farne un’alternativa pratica. Il codice è disponibile.

Perché conta

Cambiare il modo in cui una rete impara permette di esplorare architetture che il metodo dominante rende difficili da addestrare.

Leggi la fonte

Q Labs

Vuoi sapere di più su pillole come questa?