詳細を読む
MITの研究チームが、大規模言語モデル（LLM）の推論時メモリであるKVキャッシュを最大50分の1に圧縮する新手法「Attention Matching」を発表しました。精度をほぼ維持したまま数秒で処理が完了する点が最大の特徴です。
LLMはトークンを逐次生成する際、過去の全トークンのキー・バリュー対をKVキャッシュに保持します。長文の法務文書分析や自律型コーディングエージェントなどの企業用途では、1リクエストで数GBに膨張し、同時処理数やバッチサイズを大幅に制限する深刻なボトルネックとなっていました。
従来の対処法には、重要度の低いトークンの削除やトークン統合がありますが、高圧縮率では精度が急激に低下します。テキスト要約による代替も、医療記録のような情報密度の高い文書ではコンテキストなしと同等の精度まで劣化することが実験で確認されました。勾配ベースの「Cartridges」手法は高品質ですが、1コンテキストの圧縮に数時間を要し実用性に欠けていました。
Attention Matchingは、圧縮後のメモリが元のメモリと同じ「注意出力」と「注意質量」を再現するよう設計されています。事前に生成した参照クエリを用いて保持すべきキーを選択し、通常最小二乗法などの代数的手法で値を算出します。勾配降下を完全に回避することで、処理速度が桁違いに高速化されました。チャンク単位の分割処理により長文への対応も実現しています。
Llama 3.1やQwen-3を用いた実験では、読解ベンチマーク「QuALITY」と6万トークンの医療記録データセット「LongHealth」の両方で有効性が確認されました。テキスト要約との組み合わせでは200倍圧縮も達成しています。数学推論テスト「AIME」では、メモリ上限に達するたびに50%圧縮を最大6回繰り返しても、無制限メモリと同等の性能を維持しました。
ただし、この手法の導入にはモデルの重みへのアクセスが必要であり、クローズドAPIのみを利用する企業は自社実装ができません。また、既存の推論エンジンへの統合にはプレフィックスキャッシュや可変長メモリパッキングとの調整が必要です。研究チームはコードを公開済みで、大規模なツール出力や長文文書の取り込み直後の圧縮が有望なユースケースだと述べています。