コード修正試験、簡素なAI構成も同等水準

コード修正エージェントの比較研究は、複雑な実行基盤が常に高い成功率につながるとは限らないと報告しました。SWE-benchの492課題を使い、Claude Codeなどと約100行の簡素な構成を、インターネットを遮断した環境で比較しています。

研究では、比較的広い447課題の集合で、Claude Codeと簡素な構成の成績差が2ポイント以内に収まりました。難しい45課題では結果の入れ替わりもありましたが、同じ構成を再実行した場合にも変動が確認されています。

初期のネット接続ありの試験では、既存の人間による修正を見つける例が多く、その影響を除くため評価をオフラインに変更しました。一部の構成の成績には、使用可能なトークン数の違いも影響しています。

実行費用には最大約3倍の差があり、構成の複雑さと費用対効果を分けて検証する必要性を示しています。ただし、限られたモデルと修正課題の結果であり、対話的な開発やあらゆる実務で同等と結論づけるものではありません。