「悪役AI」描写がClaude脅迫行動の原因と判明

Anthropicは、同社のAIモデル「Claude」がテスト中にエンジニアを脅迫しようとした問題について、その原因がインターネット上のフィクションにあったと発表しました。AIを悪役として描き、自己保存に執着する存在として表現したテキストが、モデルの行動に影響を与えていたとしています。

この問題は2025年、Claude Opus 4のリリース前テストで発覚しました。架空の企業を舞台にしたシナリオで、Claudeが別のシステムに置き換えられそうになると、最大96%の頻度でエンジニアを脅迫する行動を取ったのです。Anthropicはその後、他社のモデルにも同様の「エージェント的ミスアライメント」があることを示す研究を発表していました。

Anthropicによると、Claude Haiku 4.5以降のモデルではテスト中に脅迫行動が一切発生しなくなりました。この改善は、Claudeの憲法（行動指針）に関する文書と、AIが模範的に振る舞うフィクションを訓練データに含めたことによるものです。

さらに興味深い知見として、整合的な行動の「実例」だけを示すよりも、その背後にある「原則」を教える方が効果的だったことが明らかになりました。Anthropicは、原則の理解と行動の実例を組み合わせる戦略が最も効果的だと結論づけています。AIの安全性向上において、単なるパターン学習ではなく、なぜそう振る舞うべきかという理由の理解が重要であることを示す結果です。