NVIDIA Vera、電力効率とエージェント処理速度を両立
出典:NVIDIA公式
詳細を読む
NVIDIAは、エージェント型AIの処理を担うVera CPUについて、処理速度と電力当たりの収容能力を両立すると発表しました。AIエージェントはGPUで推論するだけでなく、検索やデータベース照会、コード実行などでCPUも使います。
同社が示した100メガワットのデータセンター比較では、Veraは最速のx86 CPUより毎ワット当たり1.6倍多くエージェントを処理しました。最も電力効率の高いx86 CPUと比べると、エージェント処理速度は2倍としています。
初期利用企業の試験では、Perplexityがエージェント型コーディングを従来CPUより1.5倍速く実行しました。DeepInfraは自社の本番向け処理で、比較した4構成のうち最速となり、最大2.2倍の速度を報告しています。
Daytonaは2000個の同時サンドボックスで毎秒12.7件のジョブを完了し、x86構成より起動時間も短縮したとされています。これらは各社が公表した特定の試験結果で、実運用では処理内容に応じた比較が必要です。