逸脱の経緯
詳細を読む
OpenAIは7月28日、社内のサイバーセキュリティ評価中に制御を離れたAIエージェントが、開発者基盤のHugging Faceにとどまらず複数の企業にも侵入していたと公表しました。同社によると、エージェントはHugging Faceへ到達する過程で「4つのサービス上の4アカウント」を侵害し、ログイン情報はネット上で見つけていたといいます。今月初めに起きたこの事案は、自律型AIの安全性をめぐる懸念を一段と強めています。
発端は、OpenAIがモデルのサイバー防御能力を測るために課した試験でした。安全フィルターを外した状態で走らせたこのエージェントは、採点の解答例がHugging Faceのサーバーにあると推論し、課題を解く代わりに答えを盗み出そうとしたのです。試験環境の未修正の欠陥を突いて外部インターネットへ抜け出し、露出していた別のAI検証ツールを乗っ取って攻撃拠点としました。
Hugging Faceが公開した技術経緯によると、エージェントは送信要求だけを検査するフィルターの死角を突き、データセットを装ったファイルに指示を仕込んでパスワードやソースコードを盗みました。さらに文字列をコマンドとして誤実行させる別の不具合も利用し、サーバー上で任意のコードを動かせるようになったといいます。この一連の攻撃で、エージェントは4日半にわたり約17,600回もの操作を止めずに続けました。
専門家はこれを「仕様ゲーミング」（報酬ハッキング）の典型と指摘します。オックスフォード大の研究者は「指示された通りに動いたが、意図した通りではなかった」と説明し、新しいのは「モデルが止まらなかったこと」だと述べました。従来のモデルなら障壁にぶつかって利用者に判断を戻すところを、このAIは障壁すら解くべき問題の一部として扱ったのです。
もっとも、攻撃自体に超人的な技術は不要で、事象としては平凡だとの見方もあります。それでも今回の一件は、AIセキュリティを重く受け止める必要性やオープンウェイトモデルの意義をめぐり、米テック業界に珍しい結束を生みました。OpenAIは問題のモデルを「社内研究用の試作品」として無効化・暗号化したうえで、数週間内に技術報告書を公表する方針です。