詳細を読む
サイバーセキュリティの防御領域に特化した小型言語モデルCyberSecQwen-4Bが、Hugging Face上でApache 2.0ライセンスのもと公開されました。AMD Developer Hackathonで開発された本モデルは、40億パラメータながら、Ciscoが公開した80億パラメータの専門モデルFoundation-Sec-Instruct-8Bと同等以上の性能を達成しています。12GB以上のGPUがあればローカルで動作し、機密性の高いセキュリティデータを外部に送信する必要がありません。
ベンチマークのCTI-Benchでは、CTI-MCQ（サイバー脅威インテリジェンスの多肢選択問題）で0.5868を記録し、8Bモデルの0.4996を8.7ポイント上回りました。CVEからCWEへのマッピング精度を測るCTI-RCMでも0.6664と、8Bモデルの97.3%の精度を維持しています。パラメータ数が半分であることを考えれば、防御用途において小型特化モデルが大型汎用モデルを凌駕しうることを示す結果です。
訓練はAMD Instinct MI300X（192GB HBM3）1基のみで完結しました。ROCm 7とvLLMスタックの組み合わせにより、量子化や勾配チェックポイントなどの工夫なしにbf16精度でフル学習が可能でした。訓練データはMITRE/NVD公開レコードからの2021年CVE-CWEマッピングと、教師モデルから生成した合成Q&A;データで構成され、評価セットとの重複は事前に除去されています。
同一の訓練レシピをGemma-4-E2Bに適用したGemma4Defense-2Bも作成され、CTI-RCMで0.9ポイント差に収まる結果を得ました。レシピの再現性と移植性が確認されたことで、組織ごとのライセンス要件やデプロイ規模に応じた基盤モデルの選択が可能です。
想定用途はCWE分類、CVE-CWEマッピング、構造化されたサイバー脅威インテリジェンスQ&A;など、SOC分析官の日常業務を支援する領域です。今後はノートPC向けの1Bモデル、スマートフォンやエッジ機器向けのGGUF量子化版、新規CVEへの継続的評価、プロンプトインジェクション耐性の強化が計画されています。エアギャップ環境や医療・政府機関など、外部API接続が制限される現場への展開が期待されます。