詳細を読む
VentureBeatは7月22日、AIエージェントが自信満々に誤答する主因はモデルではなくデータ工学の欠陥にあると論じる寄稿記事を公開しました。データ基盤エンジニアのJunaid Effendi氏は、出荷時に正確だったAIチャットボットが3か月後には利用者の質問の約3分の1で誤答する事例を挙げ、原因を検索基盤がデータの「正しさ」を検証しない構造にあると指摘します。
検索パイプラインは、価格情報が古くても新しくても同じ確信度で回答します。関連度や可用性は測っても、内容が今も正しいかを検証しないためです。ダッシュボードは緑のままでシステムは正常に見えるのに答えは間違っている、という「失敗に見えない失敗」が起こります。
Effendi氏によれば、現場はこの失敗を二度誤診します。まずモデルを疑ってLLMを差し替え、次に検索層を疑って高機能な製品を買い増します。AWSは知識グラフで「コンテキスト層」競争に参入し、Snowflakeも新機能で同じ症状を狙いますが、いずれも問題の一つ上の層にとどまり、データ供給元の質は問わないと同氏は述べます。
真の欠陥は上流のデータ工学層にあり、必要なのはデータ可観測性だと同氏は主張します。Uberは2,000超の重要データセットを監視し障害の約9割を下流到達前に検知し、Netflixは全社規模のデータ来歴システムを構築しました。同氏は正確性・鮮度・一貫性・来歴の4軸で品質を測るべきだと整理します。
月曜から取り組むべきは、モデルや検索基盤の乗り換えではなく4つの問いだと同氏は説きます。データは利用者の基準で検証されているか、高い確信度で提供中の最古の情報は何か、同一ソースが矛盾しないか、誤りの出所を追跡できるか、です。答えられなければ修正すべきはデータ基盤であり、AIは既存の弱点を露呈させただけだと結論づけます。