Gli agenti leggono la libreria, poi riscrivono la funzione che c’è già
Un’analisi di LibraryUseBench trova funzioni duplicate nel 73–100% delle soluzioni di un piccolo campione. Anche quando individua il codice disponibile, l’agente può preferire una propria riscrittura.
Che succede
L’agente apre il file giusto di BeautifulSoup, dove c’è già la funzione per riconoscere la codifica dichiarata in una pagina. Poi ne scrive un’altra con lo stesso nome. È uno degli esempi raccolti da Gabriel Orlanski nell’analisi del 12 novembre: un difetto di progetto che può sopravvivere anche a codice scritto in modo pulito.
LibraryUseBench mette gli agenti davanti a un problema e a una libreria scritta da persone, segnalando semplicemente che è disponibile. Nell’analisi di un problema per ciascuno dei 15 gruppi di compiti, al primo tentativo, dal 73% al 100% delle soluzioni duplicava almeno una funzionalità già presente, a seconda del modello. La classificazione è stata affidata ad altri agenti, che dovevano indicare la funzione originale: è un campione mirato, non una misura di tutto il codice prodotto dall’AI.
Con SimPy, per esempio, un agente importa la libreria di simulazione ma costruisce una propria coda di eventi, benché il metodo schedule gestisca già priorità e ordinamento. La dipendenza c’è, il lavoro viene rifatto lo stesso. Ogni doppione aggiunge un’implementazione da correggere e mantenere.
Un prompt molto più prescrittivo, nelle prove con librerie umane descritte dagli autori, porta le riscritture intorno al 17%. La differenza suggerisce che il modo di assegnare il lavoro conta parecchio. Ma l’esempio di BeautifulSoup resta irritante proprio perché la ricerca era arrivata nel posto giusto: leggere il codice non è ancora usarlo per decidere.
Perché conta
La funzione di BeautifulSoup era sotto gli occhi dell’agente, che l’ha riscritta comunque. Qui l’autonomia produce lavoro superfluo: il progetto si ritrova un secondo rilevatore di codifica da mantenere, mentre quello della libreria era già disponibile.
Vuoi sapere di più su pillole come questa?