OpenAI、CodexでChatGPTの性能改善を自動化

仕組み

性能低下を自動調査
Codexが修正案を作成
導入後の回復も確認

運用実績

3カ月で1700件超を調査
600件超の原因を特定
人が修正案を審査
詳細を読む

OpenAIは、ChatGPTの動作速度を維持する社内システム「Performance Factory」を開発しました。Codexと同社モデルを使い、性能低下の検知から原因調査、修正案の作成、導入後の確認までを一連の作業として自動化します。

性能アラートが発生すると、エージェントが調査タスクを開始し、遅延の原因と対応案を記録します。エンジニアが提案を確認して修正を導入した後、別のエージェントが性能が基準値に戻ったかを調べます。

OpenAIによると、回帰調査のワークフローは稼働開始から3カ月余りで1700件以上の調査を扱い、600件を超える事例で根本原因を特定しました。1日平均では約17件の調査に相当します。

背景には、AIエージェントによる開発が速まり、従来の手作業による性能検証が追いつきにくくなった事情があります。定型的な調査を自動化すれば、エンジニアは修正の妥当性判断など、人の確認が必要な作業に時間を振り向けられます。