LLM開発費を最大化する効率的スケーリング則、MITが提言

マサチューセッツ工科大学（MIT）の研究チームは、大規模言語モデル（LLM）の訓練コストを最適化するための「スケーリング則」構築ガイドを公開しました。これは、数百万ドルにも上る開発費を効率的に使い、大規模モデルの性能を高い信頼性で予測するための体系的な指針を提供します。AI開発における予算と性能のトレードオフを解消する画期的な分析です。

スケーリング則とは、小さなモデルの学習結果から、同じモデルファミリーのより大きなターゲットモデルの性能（特に損失）を推定する手法です。従来、この手法は開発者ごとに異なり、その有効性がブラックボックス化していました。今回の研究では、40種類のモデルファミリー、485の独自モデルを分析し、1,000以上のスケーリング則を検証しています。

最も重要な提言の一つは、予測の堅牢性を高めるために、多様なサイズのモデルを少数訓練することを優先すべき点です。単に非常に大規模なモデルを訓練するよりも、5つ程度の小規模モデルを分散して訓練することが、スケーリング則の精度向上に寄与すると結論付けています。

また、リソースを効率的に活用するため、ターゲットモデルをデータセットの約30%まで部分的に訓練し、そのデータを使って性能を外挿することで、大幅なコスト削減が可能となります。加えて、訓練過程の最終損失だけでなく中間チェックポイントのデータを利用することが予測信頼性を高める鍵です。

ただし、訓練開始直後（100億トークン以前）のデータはノイズが多く、予測精度を低下させるため破棄すべきだと研究者は推奨しています。開発者は、予測誤差率（ARE）が4%以内であれば最良、20%以内であっても意思決定に十分役立つ精度として目標設定が可能です。

興味深い発見として、完全に訓練されたモデルの「中間段階」のデータが、別のターゲットモデルの予測に再利用できることが判明しました。これは、追加コストなしに予測リソースを増強できることを意味します。また、小規模モデルと大規模モデルの挙動は予想以上に類似していることも確認されました。

研究チームは今後、モデルの訓練時間だけでなく、モデルの応答時間（推論時間）に関するスケーリング則へと分析を拡大する計画です。ユーザーの新しいクエリに対して「最適な思考量」を予測する技術は、リアルタイムでのAI活用においてさらに重要性を増すと期待されています。