高速化の仕組み
詳細を読む
AI企業のLiquid AIは2026年8月20日、大規模言語モデル『LFM2.5』シリーズ向けに、推論を高速化する投機的デコード用ドラフトモデル「DSpark」を公開しました。GPU環境では最大3.18倍、オンデバイス環境では最大2.87倍のスループット向上を実現し、関数呼び出しを伴うエージェント処理の遅延も平均57%削減します。実装はllama.cppとSGLangに即日対応しました。
DSparkは、目標モデルの文脈情報をもとに複数のトークン候補を一括生成するDFlash型の並列バックボーンと、隣接トークン間の依存関係をモデル化する軽量な逐次ヘッドを組み合わせています。さらに各トークンの生存確率を予測し、費用対効果が低い候補を打ち切る信頼度スケジュール型の検証器を備えており、受理率を高めながら無駄な検証コストを抑える設計です。
新しいドラフトモデルはSFTやチャット、コード、関数呼び出しを含む多様なデータで学習され、パラメータ数は約3億に抑えられています。5層構成でブロックサイズ9のモデルを15エポック学習し、損失が最小のエポックではなく受理率が最も高いエポックを採用することで、実運用での高速化効果を最大化しています。
H100 GPUとSGLangを用いた検証では、LFM2.5-1.2Bで最大2.56倍、LFM2.5-8B-A1Bで最大3.18倍のスループット向上を確認しました。M4 Max搭載MacBookでの検証でも、LFM2.5-2.6Bはクラウド上の主要な商用モデルを上回る速度を実現し、オンデバイスでの対話体験を大きく引き上げています。
一方、MoE構成のLFM2.5-8B-A1Bはllama.cppのMetalバックエンドの実装上の制約により、オンデバイスでの改善幅は平均18%にとどまりました。検証にはMATH500やHumanEval、GSM8Kなど5種類のベンチマークを用いています。
貪欲法によるデコードでは、ドラフトが提案したトークンは目標モデルの分布と一致した場合のみ採用され、不一致の際は目標モデル自身の出力に置き換わります。そのため出力系列はベースラインと完全に一致し、pass@1などの精度指標も変化しません。DSparkのチェックポイントはSafetensorsとGGUF形式でHugging Faceに公開されており、開発者はすぐに試すことができます。