NVIDIA、AIのメモリー効率を全階層で改善

NVIDIAは、巨大モデルや長い文脈、AIエージェントの普及でGPUメモリーへの負荷が増すなか、GPUからストレージまでを一体設計する方法を紹介しました。高速だが高価なHBMだけに頼らず、CPUメモリーやSSD、共有ストレージを組み合わせます。

推論時にはモデルの重みと、会話履歴を保持するKVキャッシュがHBMを取り合います。容量を増やしても帯域幅が追いつかなければ処理速度は上がらず、追加コストや消費電力だけが増える場合があります。

同社はNVFP4で重みやKVキャッシュを圧縮し、使っていない文脈を低コストの記憶階層へ移す手法を挙げました。検索拡張生成の索引はHBM外で扱い、必要な文章だけをモデルに渡します。

NVIDIAによると、Vera RubinはBlackwell Ultraに比べGPU当たりのHBM容量が約3％増える一方、AgentXのエージェント処理量はドル当たり最大30倍になりました。性能値は同社が示した特定のベンチマークに基づきます。