Per Goodfire, le reti neurali potrebbero essere meno ingarbugliate del previsto

Un neurone che reagisce sia ai musi dei gatti sia ai frontali delle auto sembra un pessimo punto di partenza per capire una rete. Esempi così hanno favorito l’idea che concetti diversi siano impacchettati insieme e vadano prima separati con un altro modello.

Nel saggio Goodfire del 15 ottobre, Nick Cammarata rimette in discussione quella lettura. Studiando Inception e Qwen, attribuisce buona parte della confusione a problemi di architettura, apprendimento e strumenti di osservazione. La sua ipotesi è che molti neuroni e circuiti possano essere studiati direttamente, senza ricostruire prima una versione più leggibile della rete.

È una proposta di ricerca, con risultati esplorativi che dipendono anche da reti e soglie osservate. Ha però un risvolto affascinante: una parte di ciò che sembrava nascosto potrebbe essere diventata difficile da vedere anche per il modo in cui la cercavamo.