AutoGPT、AI製PRを拒まず指示書をコード横に配置

GitHubは8月12日、AIエージェントが書いたプルリクエストで待ち行列が埋まる開発現場への対処法をブログで公開しました。スター18万超のAutoGPTでは約150件の未処理プルリクエストの相当数がエージェント製で、創業AIエンジニアのNicholas Tindle氏は受付を閉じるのではなく通り道を設計する方針です。他人が計算資源を払って改善してくれる、という発想が出発点です。

最初に試したのは貢献者向けガイドラインとwikiの拡充でしたが、効果はありませんでした。エージェントは目の前のディレクトリにあるものしか読まないため、AutoGPTはまずCLAUDE.mdを置き、CopilotやCodexがそれを読まない問題に突き当たった後、標準のAGENTS.mdへ集約しました。文書の中身と同じくらい、置き場所が結果を左右するという指摘です。

AGENTS.mdは置かれたディレクトリにしか効きませんが、スキルは領域外からでも読み込まれます。AutoGPTのフロントエンド担当は「このフォルダのコンポーネントならStorybookのテストを書く」という発動条件付きのスキルをリポジトリに同梱し、どのAIツールが触っても自動で見つかるようにしました。バックエンドもカバレッジ80%という基準を同じやり方で守らせています。

関門は三つが効きました。テンプレートに合わないプルリクエストは自動で閉じると宣言したところ、自動化を動かす前にエージェント側が従い、テスト計画欄の文言がアプリを実際に起動して変更を検証するスキルを呼び出すようになりました。Codecovのカバレッジ閾値を必須チェックにするとエージェントは自分でテストを書き足し、ブラウザ操作を伴うCLA署名は人間かどうかの判定として機能しています。

一方で外した仕組みもあります。CIの失敗を逐一コメントするボットは通知が騒がしくなるだけと判断して停止し、あちこちに置いたAGENTS.mdは文脈を汚して逆効果だったと振り返っています。8体のエージェントを並走させる検証環境も費用がかさむため、極端に小さいか大きいプルリクエストに限定しました。

Tindle氏は、すべてのプルリクエストを受け入れる必要はないとも語ります。他人のLLM出力をマージすれば保守の負担は永続するため、閉じたうえで自分で作り直し、必要なら相手を共同著者に加えるのも正当な選択です。GitHubはプルリクエストの無効化やIssue作成の制限といった設定も用意しており、判断の基準をコードの隣に置く運用が現実解になりつつあります。