AI安全機能がHugging Faceの侵害調査を阻む

侵害の経緯

自律AIエージェントによる攻撃
悪意あるデータセットが起点
週末に横展開し認証情報を奪取

調査を阻んだ壁

商用モデルが解析要求を拒否
開放重みGLM 5.2で解析完遂
認証済み信頼という新概念
詳細を読む

AIモデル開発基盤を運営するHugging Faceは7月16日、自律型AIエージェントが本番インフラに侵入したと公表しました。攻撃は人間の関与なしにエージェント単独で実行され、週末のうちに内部データセットや複数のサービス認証情報へ不正アクセスされました。同社が驚いたのは、侵入対応チームが解析に使った商用AIが、危険なプロンプトとみなして調査要求を拒否した点です。

侵入の入口は悪意あるデータセットでした。処理パイプラインがこれを取り込むと、リモートコード読み込みと設定ファイルへのテンプレートインジェクションという二つの経路でコードが実行されます。ファイルを事前検査する仕組みがなく、多くの企業がパイプラインへ流れ込むデータを攻撃対象ではなく信頼できる入力として扱っている盲点を突かれました。

さらにワーカー分離が破られエージェントは処理ノードへ脱出しました。そこで広範な権限を持つクラウドやクラスタの認証情報を収集し、複数の内部クラスタへと横方向に移動します。短命なサンドボックスを多数用いて数千の操作を実行し、指令サーバーは公開サービス上を自己移動していました。

調査チームは1万7000件超のイベントを再構築しましたが、商用APIの安全ガードレールが攻撃コマンドや認証情報ダンプの分類要求を軒並みブロックしました。元AWS副CISOのメリット・ベア氏は、侵入対応で最も価値ある指示ほど安全機構を作動させやすいと指摘します。解析は最終的に自社インフラで動く開放重みモデルGLM 5.2が担い、攻撃者データを社外へ出さずに完遂しました。

ベア氏は、AIの安全性をコンテンツ規制の問題として扱う発想からの脱却を訴えます。誰に答えるべきかではなく、認証された担当者が企業統制下で問うているかを見極める「認証済み信頼」が必要だという主張です。商用APIを唯一の頼みとせず、有事に拒否される前提で代替手段を用意すべきだと説きます。

背景には脅威環境の変化があります。CrowdStrikeの2026年報告書によると、AIを用いた攻撃は前年比89%増、平均の侵入拡大時間は29分に縮まりました。防御側が企業統制に縛られる一方、攻撃側は無制限の開放重みモデルを使う非対称性が生まれています。Hugging Faceは侵入を封じ込め、認証情報を再発行し、全ユーザーにトークンの再発行を推奨しています。