ThinkingBox controlla se gli agenti AI hanno fatto davvero il lavoro

Un agente AI chiude un ticket e risponde che il problema è risolto. Ma la spedizione del cliente è ancora bloccata e il ticket avrebbe dovuto restare in attesa. ThinkingBox, ora disponibile attraverso Hugging Face e OpenEnv con un annuncio del 3 ottobre, cerca proprio questi errori: valuta quello che l’agente ha cambiato nei sistemi, non soltanto ciò che dice di aver fatto.

Il benchmark di Microsoft comprende 507 compiti in ambienti simulati, dal commercio ai viaggi e ai servizi finanziari. I controlli verificano lo stato finale dei dati, le modifiche mancanti e gli effetti indesiderati. Ogni compito viene ripetuto venti volte partendo dalle stesse condizioni, per distinguere un successo occasionale da un comportamento costante.

In uno degli esperimenti riportati dagli autori, circa due terzi dei tentativi falliti avevano comunque terminato senza errori finali degli strumenti, dopo aver eseguito un’azione che modificava i dati. L’integrazione permette di riprodurre queste valutazioni attraverso OpenEnv.