Cloudflare ha tagliato il costo delle review AI eliminando anche lavoro inutile

Gli agenti di Cloudflare vedevano uno strumento per pubblicare il commento finale, provavano a usarlo e venivano respinti: non spettava a loro. Poi consumavano un’altra chiamata per riprendersi dall’errore. Succedeva nel 57–76% delle sessioni dei sottorevisori. Togliere lo strumento ha eliminato un giro inutile e accorciato le istruzioni inviate ogni volta.

È uno dei guasti minuti trovati mentre Cloudflare cercava di capire perché le sue review automatiche del codice fossero diventate così care. Nel resoconto pubblicato il 19 ottobre, il costo medio passa da 2,43 a 0,77 dollari, il 68% in meno; il tempo mediano scende da 4 minuti e 9 secondi a 1 minuto e 32.

Anche la cache funzionava peggio di quanto sembrasse. Il prompt comune conteneva poi dettagli diversi per ogni repository, prima del punto che ne consentiva il riuso. Separare la parte identica ha permesso alle review di condividerla davvero. Sono spariti anche un riepilogo finale che nessuno leggeva e controlli ripetuti quando una nuova revisione non aveva nulla da sottoporre a quel revisore.

Circa il 40% del risparmio viene dagli interventi al sistema; il resto da cambi di modello e livello di ragionamento. Per il revisore della qualità del codice, però, il ragionamento medio perdeva segnalazioni utili: Cloudflare ha scelto quello alto. Nelle sue verifiche interne, questa configurazione ha ridotto soprattutto segnalazioni minori e gravità gonfiate, mantenendo un numero simile di problemi importanti. La riduzione del rumore fa parte del risultato, insieme alla fattura più bassa.