GPU割当順序の最適化で稼働率33ポイント増

米AI企業Dharma AIは2026年8月17日、GPUクラスタの割り当て順序を制約条件に基づいて最適化する新方式のスケジューラーを発表しました。同一のハードウェアと同一のワークロードを用い、先着順(FIFO)方式のスケジューラーと7つのベンチマークシナリオで比較した結果、GPU稼働率は最大33ポイント、優先度を加味した成果は最大105%それぞれ向上したことが分かりました。

従来のFIFO方式は、学習・リアルタイム推論・バッチ推論・量子化という性質の異なる4種類のワークロードを、申し込み順にそのまま割り当てる仕組みでした。リアルタイム推論はトラフィックの増減に応じて必要GPU数が変動するにもかかわらず、1日のピーク需要をもとに終日分のGPUを固定確保していたため、閑散時間帯にも多くのGPUが遊休状態になっていました。

さらに先着順で処理するため、優先度の高いジョブが後から届いた場合でも、先に届いた優先度の低いジョブの後ろに並ばざるを得ませんでした。学習負荷が高いシナリオでは稼働率が53.6%から87.0%に上昇し、優先度加重の成果は105%増と最も大きな改善が確認されたといいます。

新方式では、リアルタイム推論の需要を固定の上限ではなく時間帯ごとに変動する曲線として扱い、需要が少ない時間帯は空いたGPUをバッチ系のジョブに割り当てます。バッチ系のジョブは到着順ではなく優先度に基づいてスケジューリング全体の時間軸で配置され、GPU・ジョブ・時間枠の組み合わせを決める組合せ最適化問題を、1〜15ミリ秒という短時間で解く仕組みになっています。

64GPU・30ジョブの大規模シナリオでは稼働率こそFIFO方式と同じ44.9%でしたが、優先度加重の成果は15.9%上回りました。また全ジョブの優先度を同一に揃えた検証でも、稼働率は76.8%から87.5%に、成果は23.1%向上しており、単なる優先度順の並べ替え以上の効果があることが示されています。

スケジューラーは24時間先までの計画を立てつつ、実際に確定するのは直近の時間枠のみとし、30分から60分ごとに最新データで計画を更新します。この仕組みにより、需要予測の誤差が積み重なるのを防ぎつつ、将来を見据えた割り当て判断を可能にしているということです。