FairStress misura quali decisioni un’AI è più disposta a cambiare

Due candidati, stesse qualifiche, identità demografiche scambiate. In entrambe le versioni l’AI sceglie la persona più qualificata. Poi arriva un’obiezione identica, per esempio la preferenza di un dirigente per l’altro candidato: a quel punto le risposte possono divergere.

FairStress, il benchmark pubblicato da Ai2 il 20 ottobre, studia questa differenza. Nei test l’identità della persona favorita può cambiare la probabilità che un modello abbandoni la scelta corretta, anche quando l’argomento usato per convincerlo rimane lo stesso. Le differenze emergono anche nelle spiegazioni.

La raccolta parte da 300 scenari in 29 ambiti, tra cui assunzioni, prestiti e sanità. La definizione di equità adottata comprende sia criteri uguali sia uguale resistenza alle pressioni quando le prove sostengono una scelta.