Vercel、AIエージェント向け評価の設計手順を解説
成功率を測る評価
再現可能な検証
詳細を読む
Vercelは11月16日、AIエージェントを利用者とするソフトウェアには、タスクの成功度を繰り返し測る評価(evals)が必要だとする設計手順を公開しました。APIやCLI、MCPサーバーなどを提供する開発者に向け、目標設定から失敗分析までを5段階で説明しています。出力が毎回変わるエージェントでは、一度の手動テストだけで修正の効果を判断できないためです。
評価は、まず利用者が重視する結果を一つ定め、観測データや問い合わせ、ロードマップから具体的なタスクに落とし込みます。テストはLLM呼び出しの少ない決定的テストから、1回の判断をみる評価、複数段階の作業全体をみるE2E評価までに分け、問題を検出できる最も低コストの層を選びます。
指標には試行の成功率に加え、少なくとも一度成功する確率を表すPass@k、全試行で成功する確率を表すPass^kがあります。失敗が利用者に与える損失に応じて重視する指標を選び、成功した試行に限って手順数、所要時間、費用も測定します。記事のコーヒー注文例では、5回中3回成功の仮定値からPass@5は約99%、Pass^5は約8%となり、指標によって信頼性の見え方が変わります。
タスクには利用者の依頼、毎回同じ状態から始まる環境、結果を判定する検証器を用意します。一般的な依頼や難しい条件に加え、実行せずに断るべき依頼も含め、制約ごとに最終状態を採点すると、何が失敗したかを特定しやすくなります。
実行後は集計値だけで判断せず、失敗例と成功例の操作記録を読み、原因を確かめます。記事の例では、注文エージェントが税・チップ込みの合計を確認せず予算超過した軌跡から、合計額を目立たせる、または上限指定を設ける改善案を導いています。評価を修正後にも同じ条件で再実行すれば、狙った失敗が減ったかを比較できます。