Nelle review AI di GitLab, pochi prompt enormi facevano lievitare il costo

AI21 ha sperimentato sul sistema di code review di GitLab Duo e trovato una concentrazione curiosa dei costi: dopo il passaggio a un modello meno caro, tre pull request su cinquanta generavano il 77% della spesa residua.

Il motivo era la finestra di contesto. Il deployment di DeepSeek V4 Flash usato nel test accettava fino a 256.000 token, mentre alcune review arrivavano a 480.000. Quelle richieste tornavano a Claude Sonnet 5, il modello della configurazione di partenza.

AI21 ha quindi ridotto il contesto con regole deterministiche: diff più compatti e porzioni dei file attorno alle modifiche, senza riassunti generati da un modello. Il prompt più grande è sceso a 109.000 token e nessuna review ha più richiesto il fallback. Insieme, le due modifiche hanno portato il costo stimato da 0,589 a 0,0135 dollari per pull request, con il punteggio F1 passato dal 46,4% al 47,2%.

Sono risultati su un benchmark pubblico, ottimizzati e misurati sulle stesse 50 pull request. I costi usano prezzi di listino dei token, non il costo reale dell’infrastruttura AI21 né la fattura di GitLab. La combinazione è comunque istruttiva: ridurre il contesto da solo risparmiava circa il 19%; dopo il cambio di modello eliminava anche le eccezioni più care.