VercelがAIの脆弱性発見能力を測る指標を公開

Webアプリ開発基盤を手がけるVercelは7月27日、AIモデルがアプリのコード内にあるセキュリティ脆弱性をどれだけ見つけられるかを評価するベンチマーク「DeepsecBench」を公開しました。各モデルの再現率・適合率・コスト・所要時間を計測し、一つのスコアに統合します。攻撃者がAIで攻撃力を高める一方、自社コードを熟知する防御側は内部から先回りして脆弱性を見つけられる、という発想が背景にあります。

評価には、多数の脆弱性が修正される直前の状態にあるオープンソースのコードベースを使います。50のエントリーポイントファイルを選び、人手で判定した231件の正解集合を用意した上で、スコアは見逃しを重く見る再現率重視のF2方式（Score = 100 × 5PR/(4P+R)）で算出します。見逃した脆弱性は放置される一方、誤検知はコードの安全性を下げないため、再現率を適合率の2倍重視するといいます。

ベンチマークの構成は非公開で、対象のリポジトリやコミット、ファイル、検出結果は明かしません。モデルが事前学習で対策できないようにする狙いで、実際に最高の実行でも発見率は30.7%にとどまり、25回の実行のうち20回は20%を下回りました。

最高スコアはOpenAIとAnthropicの最上位モデルが占めるものの、オープンウェイトや効率的な推論モデルが差を詰めています。Moonshot AIのKimi K3は首位の約5分の1のコストで半分のスコアを出し、Grok 4.5やGPT-5.6 Solも費用対効果で健闘します。なおAnthropicの最上位モデルFable 5は、防御目的を含むセキュリティ作業を拒否するため今回は対象外となりました。

Vercelは、フロンティアモデルを定期的な精密監査に、Kimi K3やGrok 4.5などの安価なモデルを高頻度のスキャンに割り当てる使い分けを提案します。スタートアップはマージのたびにGrok 4.5で走査し、大企業は重要サービスにフロンティア監査を充てる、といった運用例を挙げています。短時間で大量のトークンを消費するスキャンはAI Gatewayを経由させ、単一の窓口でルーティングや再試行、フェイルオーバーを自動処理します。