Hugging Faceがエージェント向けツール検証手法を公開

AI開発企業のHugging Faceは2026年6月18日、コーディングエージェントが特定のソフトウェアをどれだけ効率的に扱えるかを測る検証手法を公開しました。同社のライブラリ「transformers」を題材に、最終的な正解だけでなく、答えにたどり着くまでの手数やトークン量、所要時間を計測する点が特徴です。

従来のベンチマークの多くは、エージェントが最終的に正しい答えを出せたかどうかだけを見てきました。しかし同じ結果でも、1コマンドで完了する場合と、40行のスクリプトを書いて何度も再実行する場合では、コストや失敗率が大きく異なります。同社はこの過程の差こそが、ライブラリの設計改善に重要だと指摘します。

検証では各タスクを3つの条件で実行しました。素のインストール状態、ソース全体を複製した状態、そしてCLIの文書と利用例をまとめた「Skill」を読み込ませた状態です。すべてHugging Face Jobs上で同一ハードウェアを使い、モデル・改訂版・タスクの組み合わせごとに並列実行しています。

結果として、CLIとSkillを追加した変更は大型の高性能モデルの作業時間を短縮しました。一方で小型モデルでは逆効果となる場面が確認されています。例えばQwen3-14Bは、Skillを加えると全体の正答率が67%から43%へ低下し、感情分類タスクでは100%から0%まで崩れました。

原因をたどると、小型モデルがSkillを実行可能なツールと誤認し、シェルから動かすべきCLIを直接呼び出そうとして処理を断念していたことがわかりました。同社は、エージェント向けのAPIはモデル規模ごとに評価すべきだと結論づけ、検証手法を自社ライブラリにも適用できる形で公開しています。