詳細を読む
NVIDIAは7月17日、AIエージェント時代の学習基盤としてVera Rubinプラットフォームを軸に、新指標「対コスト知能（intelligence per dollar）」を打ち出しました。エージェント型AIでは、モデルが一度の学習で完成せず、本番環境の変化に合わせて継続的にポストトレーニングを繰り返す必要があります。同社は、この絶え間ない学習ループをいかに低コストで回すかが、今後のAI投資の成否を分けると位置づけています。
ポストトレーニングは、事前学習を終えたモデルにコード生成や複数手順の計画、ツール利用や失敗からの復帰を教える工程です。エージェントが使うツールは週単位で変わり、想定外のエッジケースも本番で次々に現れます。そのため学習は一度きりではなく、本番から問題が戻るたびに繰り返され、計算負荷は個々の実行規模ではなく回数の多さによって膨らみます。
同社は、推論コストを示す「トークン単価」の一段上に対コスト知能を置きます。トークン単価が下がればモデルに組み込む知能1単位あたりのコストも下がり、逆に知能が高まれば提供する各トークンの価値も上がるという、入れ子の関係だと説明します。つまりトークン単価は運用効率を、対コスト知能は投資回収を測る指標になります。
新プラットフォームのVera Rubinは、Blackwell世代の4分の1のGPUで最大級のモデルを学習でき、1回あたりのロールアウト数や並列環境を増やせるよう設計されました。実例として、5500億パラメータのMoEモデルNemotron 3 Ultraは、実世界のコード修正を測るSWE-bench verifiedで71.7%を記録し、約10件中7件のバグを実際のテストに通る形で修正しました。
採用も広がっています。Prime Intellectは、Vera CPUが従来のx86構成に比べ平均30%高いスループットを示したとし、Perplexityは1兆パラメータ級モデルの重みを学習と推論のノード間で2秒未満で同期しています。Together AIも、教師ありファインチューニングや強化学習を含む学習サービスをVera Rubin上で提供する方針です。