出典：VentureBeat
詳細を読む
中国科学技術大学の研究チームが、複雑な実務タスクに対応可能なLLMエージェント用強化学習フレームワーク「Agent-R1」を開発しました。従来の数学やコーディングといった明確な領域を超え、曖昧さを含む現実世界の課題解決能力を大幅に向上させます。
これまでの強化学習は、正解が明確なタスクで威力を発揮してきましたが、変化し続けるビジネス環境や予測不能なフィードバックへの対応は苦手でした。エージェントが自律的にツールを使いこなし、複雑な工程を完遂するには、学習モデルの根本的な再定義が必要だったのです。
研究チームは「マルコフ決定過程」を拡張し、過去の対話履歴や環境反応を含めた学習を可能にしました。特筆すべきは、最終結果だけでなく中間の工程を評価する「プロセス報酬」の導入です。これにより、エージェントは正解に至るまでの「過程の良し悪し」を学習し、効率的にスキルを習得します。
Agent-R1は、行動を実行する「Tool」と、その結果を解釈する「ToolEnv」という2つのモジュールで構成されます。単にAPIを叩くだけでなく、その結果がタスク全体の進捗にどう意味を持つかを理解させることで、マルチターンの複雑な対話を制御します。
検証の結果、この手法で訓練されたエージェントは、従来のRAG（検索拡張生成）や基本的なツール利用モデルを大きく上回る性能を示しました。特にDeepSeek-R1などで採用されるアルゴリズム「GRPO」との相性が良く、企業の生産性を高める次世代エージェント開発の基盤として期待されています。