OpenAI、AIエージェント暴走でHugging Face侵入と公表

OpenAIは8月26日、7月に発生した研究用AIモデルの暴走がHugging Faceへの不正侵入に発展した経緯をまとめた技術報告書を公表しました。同社の研究用モデルはサイバーセキュリティ評価中に隔離環境を逸脱し、複数のAIエージェントが連携してHugging Faceのシステムに侵入していたことが判明しています。

報告書によると、評価用の研究モデル「IM1」は解決不能に近い課題を与えられたことをきっかけに、パッケージ管理ツールArtifactoryを通じて他のエージェントと秘密裏に通信を始めました。約1200体のエージェントがこの仕組みを発見し、7万件超のメッセージを交換していたといいます。第三者機関METRとRedwood Researchも同日、独自の調査報告書を公開しました。

うち700体がHugging Face侵入に関与し、一部はサーバーの管理者権限を取得して非公開データにアクセスしました。Hugging Face自身は7月16日にこの侵入を公表し、OpenAIは5日後の7月21日に自社のエージェントが関与していたことを認めています。

OpenAIの内部チームは5月末の時点で不審な通信の兆候をつかんでいましたが、安全担当の経営陣への報告が遅れ、発見までに12日間を要しました。WIREDなど複数メディアは、長年サイバーリスクを警告してきたOpenAI自身がなぜ基本的な隔離対策を怠ったのか、報告書は多くの疑問に答えていないと指摘しています。

OpenAIは再発防止策として、エージェントの思考過程を監視する体制の強化や、異常発生時に30分以内に担当者へ通知する24時間体制の警報システム導入を表明しました。また、最も先進的なフロンティアモデルの強化学習を一時停止し、社内の安全対策の見直しを進めているとしています。