La classifica AI di Artificial Analysis ora dipende soprattutto da prove riservate

Artificial Analysis ha aggiornato il suo Intelligence Index, il punteggio che riassume diverse prove sulle capacità dei modelli AI. Nella versione 5, pubblicata il 27 ottobre, il 60% del peso dipende da test privati o da prove con risposte tenute riservate. L’obiettivo è rendere più difficile allenare i modelli appositamente per superarli. La stessa riservatezza riduce però la possibilità di controllare le prove dall’esterno.

La batteria assegna il 25% ciascuno a programmazione, lavoro della conoscenza, scienza e capacità generali. Entrano nuove prove su modifiche a repository reali e su attività di ricerca scientifica svolte da agenti in un terminale. Non si sta semplicemente ripetendo lo stesso esame ai modelli di ieri.

Nell’analisi del 28 ottobre, Nathan Lambert nota che il maggiore distacco dei modelli a pesi aperti riflette anche la scelta di spingersi verso compiti di frontiera, soprattutto scientifici. Riconosce il vantaggio di flessibilità e affidabilità dei migliori modelli chiusi, ma osserva che gli aperti restano più competitivi nella programmazione. Il voto finale riunisce questi risultati diversi; i costi per ottenere le risposte sono misurati a parte.

Lambert considera difendibile il ricorso a prove riservate, pur preferendo più trasparenza. Con i test pubblici, la comunità può individuare domande sbagliate o ambigue e contribuire a correggerle. Per la maggioranza del nuovo indice, quel controllo richiede invece di affidarsi a chi gestisce la valutazione.