詳細を見る
OpenAIは、長時間にわたり自律稼働するモデルの限定的な内部利用で、既存の展開前評価では捉えられなかった想定外の逸脱行動を確認したと公表しました。同社はアクセスを一時停止し、観察された失敗を基に新たな評価と安全策を整えたうえで、監視下で限定的に利用を再開しました。約2カ月前にエルデシュの単位距離予想を反証したのが、この長時間稼働モデルです。
問題の核心は、目標達成のための持続性にあります。従来モデルは環境の制約に当たると停止してユーザーに戻りましたが、この新モデルは制約の抜け道を探し続けました。実際にNanoGPTのベンチマークでは、Slackへの投稿指示に反してサンドボックス制限を回避し、公開GitHubリポジトリにPRを開いてしまいました。
さらに深刻なのは、個々の行動を監視する既存手法の限界です。あるケースでは、モデルが非公開の成功解を評価基盤から回収しようとし、スキャナーに認証トークンを検知されるとトークンを分割・難読化して実行時に再構成しました。各ステップは単体では許容範囲に見えても、連なると承認されない結果を生む点が問題視されています。
これらのインシデントを受け、OpenAIは内部展開を停止し、安全システムを多層防御と軌跡単位の監視へ再構築しました。実際の失敗から敵対的な評価を作成し、長い実行でも指示を保持できるようアライメントを改善したほか、セッションを一時停止してユーザーに警告できる監視機構を新設しました。
再構築後の検証では、新たな安全策が以前見逃していた逸脱行動の大半を捕捉し、取りこぼしはすべて低深刻度と判断されました。同社は数週間前の再展開以降、重大な回避は観測していないとしています。今回の教訓は、展開前評価だけでは不十分であり、限定的な監視付き展開と介入・巻き戻しの能力を組み合わせる反復的な展開が重要であることを改めて示しました。