AIエージェント評価の信頼3倍、失敗率は5割で横ばい

米VentureBeatが8月12日に公表した企業調査で、AIエージェントの自動評価への信頼が急上昇する一方、評価が防ぐはずの失敗率は横ばいであることがわかりました。従業員100人以上の108社を対象とした7月調査では、自動評価を全面的に信頼する企業が5%から13%へ約3倍に増えた半面、社内評価を通過したエージェントが顧客障害を起こした企業は49%で6月とほぼ同じでした。

注目すべきは、この信頼がどこから来ているかです。評価をすり抜けた障害を実際に経験した企業のうち、自動評価を全面的に信頼するのは4%にとどまる一方、未経験の企業では24%に達し、6倍の開きが生じています。信頼の上昇は評価精度の改善ではなく、失敗をまだ経験していない層の楽観を映したものだといえます。

さらに意外なのは、痛い目に遭った企業ほど人手を外している点です。障害を経験した企業の85%が、低リスク領域で人間の確認なしの本番反映をすでに認めるか、1年以内の実現に向けて整備中と回答しました。未経験企業の61%を大きく上回る水準で、全面自動化を否定する割合も11%対24%と低くなっています。

一方で、本番環境の監視は追いついていません。稼働状況だけを監視する企業が50%を占め、出力内容の正しさを自動判定しているのは26%止まりです。人間の確認を外した企業に限っても、本番トラフィックに品質チェックを組み込んでいるのは28%にすぎず、門は自動化されても警報は未設置という状態が続きます。

市場面では前向きな変化も見えます。専用の評価ツールを一切使っていない企業は17%から12%へ減り、BraintrustやDeepEvalといった専業サービスが伸びたほか、選定基準では統合のしやすさが価格を抜いて首位に立ちました。ツールは整いつつあるものの、通過した評価が外れる頻度は変わっておらず、自社の自信の高まりを評価基盤の健全性の証拠と読み替えていないか点検する必要があります。