OpenAIがAIエージェントのプロンプト注入対策を公開

OpenAIは、AIエージェントに対するプロンプトインジェクション攻撃への防御設計について公式ブログで見解を公表しました。攻撃手法が単純な命令挿入から社会工学的手法へと進化している現状を踏まえた多層防御の考え方を示しています。

同社によると、初期の攻撃はWikipedia記事に直接指示を埋め込むような単純なものでしたが、モデルの性能向上に伴い攻撃も高度化しています。2025年に外部研究者から報告されたChatGPTへのメール経由の攻撃では、約50%の成功率が確認されました。

OpenAIは、AIエージェントをカスタマーサポート担当者と同様の三者構造で捉える設計思想を採用しています。人間のオペレーターにも権限制限や不正検知の仕組みがあるように、AIにも同様の制約を設けることで被害を局限する考え方です。

具体的な対策として、Safe Urlと呼ばれる機能を開発しました。会話中に得た情報が第三者に送信されそうな場合、ユーザーに確認を求めるか通信をブロックします。この仕組みはAtlas、Deep Research、ChatGPT Appsなど複数のサービスに適用されています。

同社は今後も社会工学的攻撃への研究を継続し、アプリケーションのセキュリティ設計とモデル訓練の両面に成果を反映させる方針です。完全自律型エージェントの安全な運用には、同様の環境にいる人間にどのような制御が必要かを問うことが重要だと強調しています。