LangChain、自己修復型デプロイ基盤を公開

自動回帰検知の仕組み

デプロイ後に回帰を自動検出
ポアソン検定で異常を統計判定
トリアージAgentが原因を特定

修正と今後の展望

Open SWEが修正PR自動作成
人手不要で修正提案まで完結
エラー分類の精度向上が課題
ロールバック判断の自動化を検討
詳細を読む

LangChainのソフトウェアエンジニアVishnu Suresh氏が、同社のGTMエージェント向けに自己修復型デプロイパイプラインを構築したことをブログで公開しました。デプロイ後の回帰検出から修正PRの作成まで自動化しています。

パイプラインはデプロイ直後にGitHub Actionが起動し、Dockerビルドの失敗を即座に検出します。ビルドエラーが発生した場合、エラーログと直近のコミット差分をコーディングエージェントOpen SWEに自動送信します。

サーバー側の回帰検出では、過去7日間のエラーログを基準値として収集し、デプロイ後60分間のエラーと比較します。エラーメッセージはUUIDやタイムスタンプを除去して正規化し、同一パターンをグループ化しています。

統計的な判定にはポアソン分布を採用しています。基準期間から1時間あたりの期待エラー率を算出し、観測値が予測を有意に超過した場合(p値0.05未満)に回帰の可能性ありと判定します。新規エラーは複数回発生で検出対象とします。

統計検定だけでは第三者APIの障害など外部要因を区別できないため、トリアージエージェントが変更ファイルを分類し、ランタイムコードの差分とエラーの因果関係を検証します。非ランタイム変更のみの場合は誤検知を防止します。

トリアージで原因特定された問題はOpen SWEに引き渡され、自動でPRを作成します。サイレント障害や連鎖的な回帰の発見に有効だと報告されています。今後はエラーのベクトル化や重大度に応じたロールバック判断の導入を検討しています。