詳細を読む
米ストレージ大手Solidigmは2026年6月、AI推論の最大の制約がGPU供給からコンテキスト（文脈データ）管理へ移ったと指摘しました。同社のAI応用研究責任者ジェフ・ハーソーン氏は、計算コストが下がる一方で、セッション間に保持すべき状態データが想定を超えて急増していると説明します。これが2026年の最重要課題になると同氏は強調しました。
背景には三つの要因が同時進行しています。コンテキストウィンドウの拡大で入力が巨大化し、エージェント型AIが数十から数百回のモデル呼び出しを連鎖させ、企業が監査や再利用のため推論状態の永続化を求めています。これらが重なり、既存のメモリ階層では扱えない規模へとデータが膨張しているのです。
解決策として、GPUメモリとネットワーク上の大容量ストレージの間に専用のコンテキスト層が生まれつつあります。高速・高密度のフラッシュメモリでKVキャッシュや検索データを推論速度で保持・配信する層で、NvidiaはこれをCMXという用語で規格化しました。
この層が重要なのは、推論が学習とは異なる入出力特性を持つためです。学習が大きなブロック単位の書き込み中心なのに対し、推論は細かく遅延に敏感で状態を伴います。KVキャッシュが高速層になければ再計算（re-pre-fill）が発生し、新たな価値を生まないままGPUサイクルを浪費してしまいます。
求められるのは平均速度よりテールレイテンシの予測可能性です。GPU資源を割り当てる制御系は数秒の遅延も許容できないため、安定した観測可能な性能が鍵となります。電力が制約となる大規模拠点では、ペタバイトあたりの消費電力も重要な指標になります。
経営層やインフラ責任者にとって、この新層はもはや任意の選択肢ではありません。DRAMより安価なNAND（フラッシュ）を中間層に配置すれば、投資効率を高めつつ高価で供給制約のあるメモリへの依存を減らせます。形成途上のこの領域でいかに既存資源を効率的に使うかが、今後数年のAIインフラを左右しそうです。