IBM insegna a Granite a distinguere gli ordini dai documenti che legge
Due Granite sperimentali imparano LLMON, un formato che lega ogni istruzione ai dati su cui deve agire. Nei test IBM riduce gli attacchi nascosti nei documenti.
Che succede
Un assistente deve riassumere un documento, ma nel documento trova una frase che gli ordina di ignorare il compito. È il problema delle prompt injection indirette: il testo da leggere riesce a farsi trattare come un comando. IBM prova a separare le due cose prima che finiscano nello stesso mucchio di parole.
Il 12 novembre ha pubblicato due Granite sperimentali, da 3 e 8 miliardi di parametri, addestrati a usare LLMON. Questo formato assegna blocchi identificabili a istruzioni, dati e vincoli, con delimitatori riservati nel vocabolario del modello. Un blocco di esecuzione indica quale istruzione applicare a quali dati: il legame non è lasciato soltanto all’interpretazione della frase.
Nei test di IBM i modelli resistono molto meglio agli attacchi nascosti nei dati, mantenendo capacità generali comparabili ai Granite Instruct di riferimento. I benchmark riguardano soprattutto attacchi statici; quelli adattivi, costruiti attraverso più turni, restano un lavoro aperto. Servono questi modelli addestrati e il loro formato: non basta aggiungere etichette a una chat qualsiasi.
Perché conta
Un ordine scritto dentro un documento e l’ordine di leggere quel documento possono sembrare testo dello stesso tipo. LLMON prova a rendere quella differenza parte del linguaggio imparato da Granite, anziché affidarla a un’altra raccomandazione nel prompt.
Vuoi sapere di più su pillole come questa?