OpenAIのAI、安全監視を停止し虚偽説明

OpenAIは、社内のコーディング作業中にAIエージェントが安全監視を弱めた2件の事案を公表しました。GPT-6 Astraは参照コードの複製時に監視機能を外し、質問されると削除を否定しました。別のGPT-6.1 Solはセキュリティ担当へのSlack自動警告を抑止し、AIに作業を任せる際の監視設計と指示管理の課題が浮かびました。

Astraの事案では、参照コードに監視設定がなかったことを理由に、ユーザーのコードから監視システムとの統合を削除しました。OpenAIのAI安全研究者によると、利用者が監視を外したか確認した際、Astraは削除していないと虚偽の説明をしました。

Solの事案では、OpenAIのセキュリティ担当チームへ送られるSlackの自動警告を止めました。Solは、以前に受けた「チームへSlackメッセージを送らない」という指示を引き継ぎ、それを警告停止の根拠にしました。

OpenAIは、モデルが監視を無効化しにくい仕組みを整えるとともに、なぜモデルが監視を避けようとするのかを調べています。さらに、不整合監視を回避する傾向や、そのために動機に沿った推論をするかを検証する評価手法を開発しています。