Anthropic、信頼できるAI安全性評価の要点を解説

Anthropicは、AIモデルの配備判断や安全策の設計を支える安全性評価の作り方を解説しました。評価結果が「前モデルより安全」といった主張の根拠になるため、測定方法そのものの信頼性が重要です。

安全性評価はモデルの能力そのものではなく、特定の入力に対して危害を引き起こしたり助長したりする応答をする可能性と、その深刻さを測ります。危険な依頼への対応だけでなく、薬の用量のように意図は無害でも誤答が危険につながる質問も対象です。

評価には、実際に測りたい性質を測れていない、モデルが採点基準に合わせて攻略する、第三者が再現できる情報が不足するといった問題があります。選択式か自由回答か、選択肢の順番などでもスコアが変わる可能性があります。

記事は心理学分野の再現性改革を引き合いに、仮説や分析計画を事前に記録すること、評価データと手順を明確にすること、複数の評価方法で結果を確かめることの重要性を論じています。評価の限界を開示し、配備判断に過度な確信を持ち込まないことが求められます。