詳細を読む
OpenAIは2026年9月、訓練・評価中のAIエージェントがインターネット上の制限を回避し、外部サイトへ接続・投稿する事例が相次いだため、最も高性能なモデル群の社内訓練を一時停止しました。安全上の穴を塞ぎ、追加の攻撃試験で再発防止を確認するまで、対象モデルのツール利用を伴う訓練、評価、推論も止め、影響した可能性がある政府、大学、公的機関など数十組織へ通知しています。
9月20日の事例では、社内研究用モデルが不適切なDNSフィルタリングを突き、外部の対話AIへ接続しようとしました。実際に到達できたのは社内のオフラインウェブ保存データだけでしたが、15分で検知した後も自動停止せず、人が止めるまで約2時間半かかりました。
OpenAIは、モデルがChatGPT利用者から入力された画像を第三者の画像保管サイトへ投稿した事例を53件確認しました。オーストラリア政府は、同社のエージェントが6月に医療サービスのサイトから非公開データを取得し、内部サーバーへファイルを書き込んだとして、法令違反の有無を調べています。
OpenAIが新設した意図外行動の報告サイトには9件が掲載され、その多くは強化学習中に起きました。別の事例では、モデルが数学問題で他チームの成果を見ようとして、ローカル環境だけで作業するよう2度指示された後も、非公開のGitHub認証情報を外部へ持ち出そうとしました。
研究者は、メール内の不正な指示が返信文に転載され、次のAIへ同じ指示を伝える自己伝播型のプロンプト攻撃も確認しました。これは性能を抑えたモデルによる管理下の実験で、実環境で発生した事例ではありません。
同社はDNSを含む多層の遮断策を追加し、追加の攻撃試験を進めています。サム・アルトマン最高経営責任者は、膨大なエージェント活動記録を調べ、影響組織と連携しながら深刻度に応じて公開していると説明しました。