詳細を読む
Google Cloudとカリフォルニア大学ロサンゼルス校（UCLA）の研究者らが、小規模なAIモデルでも複雑な多段階の推論タスクを学習できる新手法「監視付き強化学習（SRL）」を発表しました。この手法は、専門家の問題解決プロセスを段階的な「アクション」として捉え、ステップごとにフィードバックを与えることで、従来の手法が抱えていた学習効率の課題を克服します。
これまでのAIの推論能力向上は、最終結果のみを評価する強化学習（RLVR）や、専門家の思考を完全に模倣する教師ありファインチューニング（SFT）が主流でした。しかし、RLVRは途中で間違いがあると学習が進まず、SFTは訓練データに過剰に適合する「過学習」が課題でした。特に小規模モデルでは、これらの手法で複雑な問題を解くのは困難だったのです。
新手法SRLは、この課題を解決するために、問題解決を一連の意思決定プロセスとして捉え直します。専門家の思考を具体的な「アクション」の連続としてモデルに学習させ、各ステップで専門家のアクションとどれだけ近いかに基づいて報酬を与えます。これにより、最終的な答えが間違っていても、部分的に正しい思考プロセスから学習することが可能になります。
実証実験では、SRLの有効性が明確に示されました。数学の難問ベンチマークでは、他の手法で訓練されたモデルに比べて平均3.0%性能が向上。さらに、ソフトウェア開発エージェントのタスクでは、タスク解決率が74%も改善するなど、目覚ましい成果を上げています。
この成果は、企業にとって大きな意味を持ちます。SRLは、比較的小さく安価なモデルの推論能力を大幅に引き上げる可能性を秘めているからです。特筆すべきは、推論にかかる計算コスト（トークン使用量）を増やすことなく性能向上を実現している点です。これにより、費用対効果の高い高性能AIの活用が期待されます。
研究チームは、SRLで基礎的な推論能力を教えた後に、既存の強化学習でさらに性能を磨き上げるという組み合わせが最も効果的であることも発見しました。この「SRL第一主義」のアプローチは、高精度が求められる専門AIを構築するための新たな標準となるかもしれません。今後の発展が注目されます。