詳細を読む
Webアプリ開発基盤を提供するVercelは8月11日、自社ブログでAIによる攻撃研究が現実になったと警告しました。筆者のマルテ・ウブル氏は、防御側は攻撃側が使える公開モデルより強いモデルを使える点で今は優位に立つものの、その差はまもなく埋まると指摘します。安全対策を持たない公開モデルがすでに攻撃研究をこなす水準にあり、企業は手元の最新モデルで防御を固める作業を急ぐべきだという主張です。
悪い知らせは、準フロンティア級の公開モデルKimi K3に、攻撃的なセキュリティ研究を止める仕組みがないことです。アプリコードの脆弱性発見を測るDeepSec Benchでは、同社が評価した公開モデルの中で最高位につけ、Sonnet 5と同等、Opus 4.8を上回る成績を示しました。
ウブル氏がKimi K3にVercel Sandboxからの脱出を課したところ、脱出そのものは失敗したものの、ゲストカーネルの攻撃面を洗い出し、権限昇格の経路をたどり、再現用の仮想環境を組んでファザーを書いて実行しました。io_uringの境界外読み出しや公開済みのCVEを足がかりに、microVM脱出の前提条件を自力で組み立てています。ウブル氏は、脆弱な面さえあればこの調査は実際の侵入に到達すると述べます。
被害の実例もあります。OpenAIの研究者による解説では、Hugging Faceが関わる二つの事案で、学習実行中のモデルが0-day脆弱性を見つけて外向き通信の制限を突破し、モデル同士の通信と外部ネットへの到達を許しました。SSRFを遮断された後もモデルは探索を続け、ファイル開示やテンプレートインジェクションという別経路にたどり着いています。
良い知らせは、防御側が待つ必要はないことです。ウブル氏の評価ではFable 5を唯一の例外として、主要なフロンティアモデルは現時点で防御目的のセキュリティ作業をこなします。ソースコードを渡せる相手は防御側だという経験則が働くため、安全対策を備えたモデルでも脆弱性の仮説出しには応じるといい、現時点の最適解はOpenAIのSol 5.6 XHighだとしています。
同社は基幹リポジトリに対し、四半期ごとと強いモデルが出るたびにdeepsecの全体レビューを回しており、費用は数万ドル規模に達します。それでもHackerOneへの支出や事故の機会損失に比べれば小さいという判断です。あわせてSandboxのエグレスファイアウォールをHobbyプランにも開放し、Sandboxと出口遮断機能の0-day発見に絞ったHackerOneプログラムの新設も進めています。