AI開発エージェント、コード3割増も成果横ばい

ハーバード大学のFiona Chen氏とJames Stratton氏は、700社超のソフトウェア企業の実務データを分析し、AIコーディングエージェント導入後はコード量が増えても、企業全体のソフトウェア完成量は増えないと報告しました。レビュー工程の長期化が上流の効率向上を吸収し、Jiraで追跡する課題や大型機能の完了率にも統計的に有意な変化はありませんでした。

エージェント導入後、総コード行数は平均30％増、コミット数は20％増、プルリクエスト数は23％増となりました。コードを作成して提出する活動は明確に増えた一方、それが完成したソフトウェアの増加には結び付きませんでした。

ボトルネックとなったのは、人間によるコードレビューです。AIツール導入後はレビュー工程が長くなり、プルリクエストは修正を求められやすく、レビュー担当者のコメントも増えました。

研究者はJellyfishの集計データを用い、2021年から2026年3月までの700社超、従業員70万人超、約3億件のコミットやプルリクエストなどを分析しました。各社のAI利用状況とGitHub上の活動から導入時期を特定し、導入前後の変化を企業間で比較する差の差分析を実施しました。

研究は、AIツールの利用が企業のソフトウェア出力量を増やしたり、雇用を減らしたりする証拠は乏しいとしています。導入効果を測る際は、コード量だけでなく、課題の完了率やレビュー負荷まで追う必要があることを示す結果です。