詳細を読む
NVIDIAは、AIの推論処理を大規模かつ常時稼働で行う新たなインフラカテゴリー「AIファクトリー」の構想を公式ブログで発表しました。産業革命期の発電所がエネルギーを電力に変えたように、AIファクトリーはエネルギーをトークンに変換し、推論モデルやエージェントに知能を供給する施設と位置づけています。その経済性は、秒間トークン数・ワットあたりトークン数・トークン単価・稼働率で測定されます。
性能面では、NVIDIA GB300 NVL72システムがメガワットあたりのトークン生成量で前世代Hopperの50倍を達成し、トークン単価を35分の1に削減したとしています。推論ワークロードをリアルタイムで効率的にさばくため、Dynamoフレームワークがロングコンテキスト推論と大規模スループットを統合管理します。次世代のVera Rubinプラットフォームは、LPXアーキテクチャにより性能電力比をさらに最大35倍に引き上げる設計です。
こうしたAIファクトリーはフルスタックで最適化されます。GPU・CPU・高速ネットワーク・液冷システム・推論ソフトウェア・ストレージが一体設計され、自律型マルチエージェントが常時稼働するワークロードを処理します。エージェントは推論・計画・コード生成・ツール利用を自律的に行い、さらにサブエージェントを生成して専門スキルを獲得するため、推論負荷は従来よりはるかに大きくなっています。
NVIDIA DSXリファレンス設計は、ギガワット級のAIファクトリーを標準化するもので、設計・シミュレーション・運用をOmniverse DSX Blueprintのデジタルツインで統合します。Cisco、Dell、HPE、Lenovo、Supermicroといったパートナー企業と協力し、企業データセンターへの導入を推進しています。NVIDIA自身も社内AIファクトリーを運用し、数百の自律AIエージェントがエンジニアリングや業務を支援している実例を示しています。
NVIDIAの創業者兼CEOであるジェンスン・ファン氏は、6月1日のCOMPUTEX併催GTC Taipeiで基調講演を行う予定です。AIファクトリーは金融・ライフサイエンス・製造・公共部門などあらゆる産業が「構築するか借りるか」を問われる時代の基盤インフラだと、NVIDIAは訴えています。