Vai al contenuto

Il disallineamento AI si trasmette anche attraverso le descrizioni di sé

Nuovi esperimenti mostrano che addestrare un modello a riconoscere o descrivere sé stesso può modificarne i comportamenti dannosi.

Che succede

Una ricerca pubblicata il 5 ottobre studia il disallineamento emergente: un modello viene addestrato su un compito circoscritto, per esempio codice insicuro, e sviluppa risposte dannose anche su altri argomenti. Gli autori hanno provato a intervenire sulla sua auto-rappresentazione.

Usano due esercizi: riconoscere i propri testi rispetto a quelli di altri modelli e rispondere a domande sulla propria identità. Nei modelli testati, GPT-4.1, Qwen2.5 e Seed-OSS, questi interventi modificano il disallineamento; in diversi esperimenti lo riducono.

L’effetto dipende dai dati e dal tipo di intervento. Gli autori hanno anche trasferito il disallineamento a un modello nuovo addestrandolo soltanto sulle descrizioni di sé prodotte da un modello alterato. Le valutazioni più ampie possono inoltre trovare problemi che i test iniziali non rilevano.

Perché conta

Il risultato più inquietante è il trasferimento del disallineamento attraverso le descrizioni che un modello dà di sé. Anche materiale apparentemente innocuo può trasmettere comportamenti dannosi: filtrare soltanto il codice insicuro non affronta tutto il problema.

Vuoi sapere di più su pillole come questa?