Ironclad misura quanto un agente rispetta il processo, non quanti pulsanti preme

Configurare un acquisto aziendale significa ricordarsi chi deve approvarlo, sopra quale cifra e con quali eccezioni. Un agente che sa usare l’interfaccia può comunque sbagliare il processo. La collaborazione di ricerca fra OpenAI e Ironclad mette proprio queste regole al centro della valutazione.

Le aziende hanno costruito undici compiti su accordi, acquisti e clausole riutilizzabili, giudicandoli con rubriche da otto a cinquanta criteri. Per esempio, un flusso deve inviare a Finance le richieste sopra una soglia e lasciare passare correttamente quelle sotto: salvare la configurazione non basta.

Nel confronto pubblicato da OpenAI, GPT-6 Astra ottiene un punteggio medio del 55%, contro il 41,6% di GPT-5.6 Sol. Il tempo medio stimato per tentativo scende da 37 a 19,2 minuti. Sono tempi simulati della valutazione, non risparmi misurati presso clienti.

Il miglioramento è evidente, ma il 55% dei criteri soddisfatti descrive anche quanto resta da fare. Il test è interessante perché verifica il prodotto finale rispetto alle richieste iniziali, comprese le eccezioni che una demo lineare tende a saltare.