Ai2、LLMの隠れた公平性を測る新指標

Allen Institute for AIは10月20日、LLMの人口統計上の公平性を測るベンチマークFairStressを公開しました。採用、融資、医療、教育、住宅、刑事司法など29領域の300場面を基に、最終回答だけでなく、同じ説得を受けた際に判断を変える度合いが属性によって異なるかを1300万超の検査例で調べます。

実験では、属性情報がない場合の判断差は小さい一方、属性を明示するほど対称性が崩れました。明確な正答を捨てる割合の差は、属性を暗示した条件で平均6.9ポイント、明示した条件で9.3ポイントでした。

15モデルでは、少数派側を支持する説得により正答を変えやすい傾向が見つかり、研究者は反ステレオタイプ的な過補正と呼びました。FairStress-CoreではClaude Opus 5やGPT-5.5も、正解が一つでない場面で少数派側を約60〜65％選びました。

説明文にも差があり、少数派側の選択では多様性や障壁を示す語が、比較対象側では証拠や基準を示す語が増えました。内部活性から選択側を予測できた限定的な分析もあり、表面の推論文だけでは要因を捉え切れない可能性を示します。

九つの偏り対策の多くは非対称性を安定して減らせず、一部は正答率を98％から47％へ落としました。候補者の属性を入れ替えて再考させる方法は精度をおおむね保ちながら差を縮めましたが、曖昧な場面での偏りは残っています。