METR entra nei laboratori Anthropic per vedere quello che l’API non mostra

Valutare un modello attraverso un’API lascia fuori una parte del sistema che lo produce. Anthropic ha annunciato il 15 ottobre un accesso più profondo per sei ricercatori di METR: sedi, hardware e strumenti interni, vicino a quanto possono usare i team di sicurezza dell’azienda.

L’accesso comprende strumenti utili a cercare rischi che una dimostrazione pubblica non rende visibili. Restano esclusi i dati dei clienti, il materiale legale e alcune informazioni di sicurezza. Anthropic prevede tagli circoscritti ai risultati pubblicabili, sui quali METR potrà esprimersi.

La collaborazione concede ai valutatori una vista che da fuori non avrebbero. La parte delicata viene dopo: raccontare ciò che hanno trovato in un ambiente che rimane controllato dall’azienda. Poter commentare anche le omissioni rende meno invisibile quel confine.