出典：MIT News
詳細を読む
マサチューセッツ工科大学（MIT）の研究チームは、大規模言語モデル（LLM）が問題を解く際の計算量を最適化する新技術「インスタンス適応型スケーリング」を開発しました。問題の難易度に応じて思考時間を調整することで、精度を落とさずに計算コストを劇的に削減します。
従来の「推論時スケーリング」と呼ばれる手法では、問題の難易度に関わらず一定の計算予算を割り当てていました。そのため、簡単な質問に無駄なリソースを費やしたり、逆に複雑な推論を要する難問に対して思考時間が不足したりする非効率が生じていました。
新手法は、人間が問題の難しさに応じて思考の深さを変えるプロセスを模倣します。プロセス報酬モデル（PRM）を用いて、生成された部分的解決策が正解につながる確率をリアルタイムで評価し、有望な解決策のみに計算リソースを集中投下します。
研究チームは、PRMが自身の判断を過信しがちであるという課題に対し、確率スコアを正確に見積もるキャリブレーション手法も導入しました。これにより、AIは「何が分からないか」をより正確に認識し、必要な場合のみ計算予算を増やすことが可能になります。
実証実験では、数学的な推論タスクにおいて、既存手法と比較して計算量を約半分に抑えつつ同等の精度を達成しました。この技術により、リソースの少ない小規模なモデルであっても、複雑な問題において大規模モデルに匹敵する性能を発揮できる可能性があります。
この成果は、生成AIのエネルギー消費削減に寄与するだけでなく、推論コストがボトルネックとなっていた高度なAIエージェントの実用化を加速させます。自律的に学習し改善するAIシステムの構築に向けた、重要な一歩となるでしょう。