Nvidia、モデル間KVキャッシュを線形変換で転送

Nvidiaの研究チームは、複数の大規模言語モデルを連携させるエージェント型AIで、モデル切り替えのたびに生じる高コストな再計算を回避する技術を発表しました。異なるモデル間でKVキャッシュを線形写像により直接変換する手法で、深層学習を使わずに済むため軽量です。長時間稼働するマルチモデルAIワークフローのコストとレイテンシー削減が期待できます。

AIエージェントが複雑な推論を大規模モデルに任せたり、逆に軽量モデルへ処理を戻したりする際、受け取る側のモデルは会話全体を最初から計算し直す必要がありました。これはプレフィルと呼ばれる処理で、モデルの規模と入力長に比例してコストが増加するため、長時間の対話やエージェントセッションほど負担が重くなっていました。さらにモデルごとにキャッシュの形式が異なるため、切り替えのたびにこの重い再計算が避けられませんでした。

研究チームが着目したのは、異なるモデル間のKVキャッシュには線形的な関係があるという発見です。140億パラメータのQwen3から320億パラメータ版へのキャッシュ転写を検証したところ、単純な線形回帰だけでキーの分散の56%、複数層を組み合わせれば79%を再現できました。この結果を基に、層ごとの回帰とRoPE除去を組み合わせた変換器を設計しています。

Qwen3やLlama 3.1、Ministral 3など6組のモデルペアで検証した結果、4組では変換後の精度が通常のプレフィルに対し73〜98%を維持しました。80億パラメータのLlamaから700億パラメータ版への大幅な変換でも72.8%の精度を保持しています。処理速度は再計算に比べ2.7〜25倍速く、32,768トークンの変換もわずか278ミリ秒で完了しました。

一方でMinistralの一部の組み合わせでは、線形近似がキャリブレーションデータの範囲外にうまく対応できず、精度が大きく低下しました。この場合は非線形の多層パーセプトロンを組み込むことで精度を90%超まで回復させています。今回の検証は同じモデルファミリー内の転送に限定されており、異なるアーキテクチャ間への拡張は今後の課題です。

KVキャッシュの肥大化はエンタープライズ向けAIの大きな障壁となっており、Nvidiaは以前にも推論コストを最大8倍削減する動的メモリ圧縮技術を発表しています。MITの圧縮技術やIndexCacheなど他社の取り組みと合わせ、長時間稼働するマルチモデルエージェントのコスト管理は業界全体の重要テーマになっています。