Hugging Faceで発表、微調整時間を高精度予測
予測誤差を縮小
CatBoostの平均誤差1.71時間
FLOPs計算は誤差12.41時間
実行時間を左右
評価・保存処理も予測材料
長時間ジョブは誤差が拡大
出典:Hugging Face
詳細を読む
Dharma-AIの研究チームは11月18日、共有GPUクラスタでのモデル微調整にかかる時間を、ジョブ開始前の設定情報から予測する手法を公開しました。NVIDIA H200上で実行した本番の教師あり微調整(SFT)272件、計7,382 GPU時間を分析し、機械学習モデルが従来のFLOPs計算より実時間を正確に見積もれると報告しています。
一般的な計算式はモデル規模や学習トークン数から処理時間を推定しますが、環境準備、データのトークン化、評価、チェックポイント保存、共有ストレージの混雑などを捉えにくい課題があります。同じ計算量のジョブでも、設定や他の処理との競合によって完了時間が大きく変わります。
研究チームは、投入前に分かる設定値やモデル情報を用いて複数の予測器を比較しました。CatBoostは5分割交差検証で決定係数0.98、平均絶対誤差1.71時間を達成し、誤差が最小だったFLOPsベースの推定値は12.41時間でした。予測の中央値誤差は0.51時間で、全体の80%が2.2時間以内、90%が4.31時間以内に収まりました。
予測への寄与が大きかったのは、評価で処理するデータ量や学習可能パラメーター数、評価設定、保存するパラメーター数などです。評価やチェックポイントの頻度・規模は、GPUの計算量だけでは見積もれない所要時間を左右します。
検証対象は最大150億パラメーター規模のSFTジョブとH200環境に限られ、他のGPU世代や別の学習方式への適用には再学習が必要です。60時間を超える長時間ジョブは13件しかなく予測誤差が広がるため、より多くのデータでの検証も課題です。