Vai al contenuto

Insegnare ai vettori a conservare ciò che serve alla ricerca

Tom Aarsen mostra come allenare un modello di ricerca alla successiva compressione. Nel suo test, un quarto dei vettori conserva il 97,8% del proprio punteggio di ordinamento originale.

Che succede

Nei sistemi di ricerca multivettore, un documento viene rappresentato da molti vettori, così parti diverse di una domanda possono trovare corrispondenze in punti diversi del testo. È una rappresentazione espressiva, ma su milioni di documenti lo spazio occupato cresce in fretta.

Nel tutorial pubblicato l’11 novembre su Hugging Face, Tom Aarsen mostra come ridurlo raggruppando vettori simili. Il pooling fonde rappresentazioni vicine: in media, il documento può essere rappresentato con circa un quarto dei vettori, ma nella fusione si rischia di perdere proprio un dettaglio utile a ritrovare il documento.

L’idea è allenare il modello tenendo conto di quella fusione fin dall’inizio. Durante l’addestramento viene valutata anche la qualità della rappresentazione compressa, così il modello impara a conservare informazioni che restino utilizzabili dopo il raggruppamento. Aarsen pubblica un esempio riproducibile con Sentence Transformers.

Nel suo esperimento con due modelli derivati da ModernBERT-base, allenati sugli stessi 120.000 esempi di MS MARCO e valutati su NanoBEIR, ridurre a un quarto i vettori dei documenti conserva il 94,6% del punteggio nDCG@10 del modello normale senza pooling. Con l’addestramento dedicato, la conservazione sale al 97,8% rispetto al proprio risultato non compresso. A parità di compressione, il punteggio passa da 49,03 a 51,23. Misura la qualità dell’ordinamento dei risultati, non una percentuale di risposte corrette. La riduzione riguarda i vettori dei documenti: non implica automaticamente quattro volte meno spazio per l’intero servizio o quattro volte più velocità.

Perché conta

Comprimere dopo l’addestramento costringe a rinunciare a informazioni che il modello non sapeva di dover perdere. Valutare il pooling già mentre impara gli permette di preparare rappresentazioni più adatte allo stesso budget ridotto.

Vuoi sapere di più su pillole come questa?