詳細を読む
米GitHubは6月17日、コーディング支援AI「GitHub Copilot」のトークン効率を高める改良を発表しました。VS Code向けにプロンプトキャッシュとツール検索を導入し、加えてタスクに応じて最適なモデルを自動選択する「Auto」を各機能へ拡大します。狙いは、1セッション内でより多くの処理を実作業に振り向け、利用者のクレジット消費を抑えることにあります。
効率化の第一歩は、ターンごとに繰り返す情報を減らすことです。プロンプトキャッシュは同じ接頭辞の再計算を避けてモデル状態を再利用し、ツール検索はすべてのツール定義を毎回送る代わりに必要なものだけを随時読み込みます。エージェントが扱うツールが増えるほど、この固定コストの削減効果は大きくなります。
もう一つの柱が「Auto」による自動モデル選択です。最初のプロンプト後、Copilotはタスクの意図と現在のモデルの状態をもとに最適なモデルを選びます。同社の評価では単一のモデルが全タスクで最良ではなく、深い推論が必要な場面では強力なモデルが、そうでない場面では効率的なモデルが有効だったといいます。
Autoは2つの信号を組み合わせます。可用性や応答速度、エラー率、コストを追うリアルタイムのモデル健全性と、推論の深さやコードの複雑さなどを考慮するルーティングモデル「HyDRA」です。HyDRAは品質基準を満たすモデルを絞り込み、その中から最適なものを選ぶ仕組みです。
実運用では落とし穴も考慮されています。会話の途中でモデルを切り替えるとキャッシュが壊れ、節約以上のコストがかかる恐れがあるためです。そこでAutoは初回ターンや要約後などキャッシュの自然な境界でのみ切り替え、間は同じモデルを維持します。CJKを含む16言語族で訓練し、ルーティング精度は英語基準から4ポイント以内に収まったとしています。
タスク意図を伴うAutoはすでにVS Code、github.com、モバイルで利用可能です。今後はCopilot CLIやGitHubアプリ、他のIDEへ広げ、無料・学生プランではAutoを唯一の選択肢に簡素化します。管理者がAutoを既定や必須に設定できる制御も加わる予定で、開発者が毎回モデルを選ばずに済む方向へ進めるとしています。