CTGT、AI判断の不一致追跡ツールを公開

応用解釈研究を手がける新興企業CTGTは2026年10月21日、AIエージェントが同じ業務で異なる判断を出す原因を追跡する「Concordance」をApache 2.0で公開しました。モデルへの要求と応答、処理段階ごとの結果を記録・比較し、最初の分岐点を特定します。承認やコンプライアンスなど、後から説明を求められる重要判断の再現性を企業が検証できるようにする狙いです。

CTGTは自社のコンプライアンス用アプリで、9ページの銀行業務マニュアルを4回処理したところ、抽出した義務が32、31、33、33件に分かれ、内容も毎回異なりました。一方、各実行で繰り返された74件の同一要求にはモデルが一貫して応答しており、アプリ側がモデルへ送る内容を変えていました。

原因は、プロンプトに入ったアップロード固有の識別子、30項目の振り分けリストの順序、実行中に拡張したトピック登録情報の3点でした。識別子を固定ラベルに置き換え、リストを並べ替え、毎回新しい組織環境で試すと、5回すべてで同じ34件の義務を抽出しました。

Concordanceはモデルを提供するソフトと利用アプリの双方を調べ、要求、応答、各処理段階の出力を比較して最初の差異を見つけます。別の試験では決定論的な設定で800件すべてが基準応答と一致しましたが、誤分類の要求を再実行すると同じ誤りを8回繰り返しました。つまり、再現できることと正しいことは別です。

Apache 2.0で公開した範囲には試験手順、参照実装、実験データが含まれ、企業は商用利用や改変ができます。既存の追跡製品と併用し、モデル、プロンプト、文書を変えた際に重要判断を再試験する用途を想定しています。ただし、他製品との比較試験や顧客環境での効果は示されておらず、導入企業は正確性を別途検証する必要があります。