詳細を読む
IBM Researchのチームは2026年7月15日、Hugging Faceのブログで、AIエージェントのモデルルーティングは単純な分類問題ではなく、システム全体の最適化問題だと指摘しました。同社が実運用のエージェント開発で得た知見で、コスト・複雑さ・遅延という3つの次元がルーティングを想定以上に難しくしていると説明します。
最も意外だったのがコストです。AppWorld Test Challengeの417タスクを同じCodeActエージェントで処理したところ、Claude Sonnet 4.6は合計79ドル、GPT-4.1は155ドルとほぼ2倍でした。GPT-4.1はトークン単価が安いにもかかわらず逆転した理由はキャッシュの読み取り料金にあり、文脈を再利用するエージェント処理でSonnetが恩恵を受けたためです。
複雑さも一筋縄ではいきません。「契約書を要約して」といった一見簡単な依頼でも、検索やコンプライアンス確認、ツール利用が連鎖し、実行してみるまで難易度が分からないことが多いといいます。さらに企業導入ではデータ所在地や承認モデル一覧などのガバナンス制約が加わり、ルーターはコストや品質、遅延と同時にこれらを調整する必要があります。
遅延もモデルの速さだけでは決まりません。ハードウェアやキャッシュの状態、エンドポイントの混雑といったインフラ要因が応答時間を左右するためです。そこで同社はルーティングを分類ではなく最適化問題として設計し直し、コスト・品質・遅延を同時に最適化する軽量なアルゴリズムを構築しました。
成果も具体的です。遅延を優先した構成では精度84%を93ドル・83秒で達成し、Opus単体と比べコスト21%減・遅延9%減を、精度低下わずか4%で実現しました。ルーター自体は1タスクあたり約6ミリ秒・2キロバイトと軽量で、最良のモデルではなくシステム全体の最適点を見つけることが重要だと結論づけています。