詳細を読む
GitHub Copilot Applied Scienceチームの上級研究者が、コーディングエージェント中心の開発手法を実践し、5人のチームメンバーが3日間で11の新規エージェントと4つのスキルを構築した事例を公開しました。
きっかけは、TerminalBench2やSWEBench-Proといった評価ベンチマークの分析業務です。1回の分析で数十万行のトラジェクトリ（エージェントの思考・行動記録）を読む必要があり、GitHub Copilotで重要箇所を絞り込む作業を繰り返していました。
この反復作業を自動化するため「eval-agents」ツールを開発しました。設計の柱は、エージェントの共有・利用を容易にすること、新規エージェントの作成を簡単にすること、そしてコーディングエージェントを主要な開発の担い手にすることの3点です。
開発で重視した戦略は3つあります。第一にプロンプト戦略として、計画モードでの会話的・詳細な指示を推奨しています。第二にアーキテクチャ戦略として、リファクタリング・ドキュメント整備・テスト追加を最優先事項に位置づけています。第三に反復戦略として、ミスが起きた際にエージェントではなくプロセスを改善する「ブレームレス文化」を採用しています。
具体的な開発ループとしては、Copilotの/planモードで機能を計画し、テストと文書更新を含めた上で/autopilotで実装させます。その後、Copilot Code Reviewエージェントによるレビューを繰り返し、最後に人間がレビューする流れです。
筆者は、優れたエンジニアやチームメイトとしての能力が、そのままCopilotとの協働でも活きると結論づけています。厳密な型付け、堅牢なリンター、統合・E2E・契約テストの整備により、エージェントが自ら作業を検証できる環境を構築することが重要だと述べています。