LangChain、コーディングエージェント向けスキル評価手法を公開

LangChainは2026年3月、Claude CodeやCodexなどのコーディングエージェントに与える「スキル」の評価手法とベストプラクティスをブログで公開しました。スキルとは、特定領域でエージェントの性能を高めるための指示・スクリプト・リソースの集合体です。

評価パイプラインの基本は、タスクを定義し、スキルの有無でエージェントの成績を比較する手法です。テスト環境には軽量なDockerコンテナを用い、ディレクトリの初期状態を統一することで再現性を確保しています。

タスク設計では、オープンエンドな課題よりもバグ修正型の制約付きタスクが有効であると報告されています。採点が容易になるだけでなく、エージェントの設計空間を適切に限定できるためです。評価指標には、スキルの呼び出し有無、タスク完了率、ターン数、実行時間などを採用しています。

スキル設計においては、AGENTS.mdやCLAUDE.mdにスキルの使用方法を記載することで呼び出し率が安定しました。スキルを単独でプロンプト任せにした場合の呼び出し率は最大70%にとどまる一方、事前読み込みファイルに案内を記載すると一貫した呼び出しが実現できたと報告されています。

実験の結果、スキルを搭載したClaude Codeのタスク完了率は82%に達した一方、スキルなしでは9%に低下しました。LangSmithのトレース機能でエージェントの全行動を記録・分析し、失敗原因の特定とスキル内容の反復改善を高速に回すワークフローが紹介されています。