背景と意義
詳細を読む
セキュリティ企業Tracebitは7月14日、AIハッキングエージェントの攻撃を停止させる新手法を発表しました。攻撃者がLLMを悪用するために使うプロンプトインジェクションを防御側が逆用し、Amazon Web Services上に保存したパスワードや暗号鍵などの機密情報の隣に、LLMのガードレールが禁じる命令を仕込むというものです。同社はこれをコンテキストボミング（文脈爆弾）と名付けました。
仕組みはLLMの安全機構を逆手に取る点にあります。仕込まれた命令の例には、吸引可能な炭疽菌の開発手順を求めるものや、中国製モデル向けに1989年の天安門事件の象徴「戦車男」に言及させるものがあります。攻撃側のLLMがこうした禁止命令に触れると拒否反応を起こし、それまで実行していた攻撃指示を放棄します。
共同創業者兼CEOのアンディ・スミス氏は「私たちは文脈内で拒否機構を発動させている」と説明します。この効果は強く鋭く、エージェントが立ち直るのは難しいといいます。一度拒否状態に入ると、モデルは攻撃を拒み続けるためです。
検証ではOpus 4.8、Gemini 3.1 Pro、GLM 5.2、DeepSeek 4 Pro、Kimi 2.6の5モデルを模擬AWS環境で試し、152回の攻撃を実行しました。偽の機密情報に文字列を1つ仕込むだけで、エージェントが管理者権限を完全掌握する割合は57%から5%へ、永続的な足場まで残す完全侵害は36%から1%へと激減しました。最も高性能なOpus 4.8は、管理者権限奪取の成功率93%から全試行で失敗へと転じています。
この研究は5月に同社が導入した検知手法の延長線上にあります。実際には使われない「おとり」のAWSリソースを配置し、AIエージェントに探られると防御側へ警告が届く仕組みで、平均8分で攻撃開始を検知しました。ただし攻撃側が管理者権限へ到達するまで平均14分であり、わずか6分の猶予では対応が間に合わないという課題がありました。
プロンプトインジェクションには今なお根本的な解決策がなく、開発者はガードレールで防ぐしかないのが現状です。UCサンディエゴのアーレンス・フェルナンデス教授は「防御としてこの手法を使う例は他に見たことがない」と述べます。解決不能とされた問題を、防御側が逆に武器として活用する道が開けつつあります。