Un agente corregge i pesi di Qwen per farlo uscire dai ragionamenti in loop

Di solito un modello impara modificando i propri pesi attraverso un algoritmo di addestramento. Un gruppo del MIT CSAIL ha provato un’altra strada: dare a un modello generale, GPT-6 Astra, accesso ai numeri che compongono una rete e chiedergli di leggerli o riscriverli direttamente. Il lavoro, pubblicato come post di ricerca il 2 novembre, si chiama Weight-Space Programming.

Gli esperimenti vanno da piccole reti per videogiochi a Qwen3.5-0.8B. Nel caso di Qwen l’agente usa un ambiente Python per esaminare e modificare i pesi, con fino a 50 passaggi di prova su gruppi di problemi di esercizio. Non può eseguire un normale ciclo di addestramento né usare i gradienti, i segnali matematici che guidano di solito l’aggiornamento dei parametri: deve proporre lui quali numeri cambiare.

Il difetto che trova è molto specifico. Con le impostazioni usate nell’esperimento, Qwen entra spesso in ragionamenti ripetitivi e consuma tutti i token senza chiudere la risposta. Astra interviene in due strati della rete, su circa 130.000 parametri, per ridurre quel comportamento. Nel test MATH-500 il punteggio riportato passa dal 7,9% al 48,1%; le risposte che raggiungono il limite di lunghezza scendono dal 93% a circa il 33%.

Un’analisi indipendente di Carlos Toledo ha controllato i pesi pubblicati e rivalutato le risposte disponibili: la modifica è reale, ma il grande guadagno riguarda soprattutto quante risposte terminano. La scheda originale di Qwen avvertiva già della tendenza ai loop; manca un confronto equivalente con il modello non modificato nelle sue impostazioni raccomandate per quantificare quanto del vantaggio resterebbe.

Gli stessi autori hanno provato anche Gemma 3 270M, che si blocca molto meno, senza ottenere un miglioramento convincente. Su Qwen l’intervento mirato riesce a far emergere risposte che la ripetizione nascondeva; sugli errori di aritmetica e algebra di Gemma non trova un interruttore equivalente.