詳細を読む
AI企業Anthropicで技術スタッフを務めるグルミート・サラン氏は、サンフランシスコでClaudeなどのAIエージェントの挙動を観測し、出力の信頼性を支える基盤を開発しています。行動の連鎖、参照情報、利用者が期待した結果との一致を記録しつつ、処理中の機密データを守ることで、研究者がモデルの動きを監査・理解できるようにする狙いです。
AIエージェントは利用者ごとに異なる応答を生成し、一連の行動を取るため、従来のデータベースやウェブサービスより観測が難しいとサラン氏は説明します。何を行い、どの情報を使い、結果が期待と一致したかを追跡できる仕組みが必要です。
同氏が重視するのは、正確で構造化されたデータと、設計段階から組み込むプライバシー保護です。Yahooでは指標の定義を統一する中央データ基盤を構築し、Intuitでは納税者情報を守る分析基盤、Metaでは動画指標を一元管理する仕組みの開発に携わりました。
過去の経験が示すのは、同じ指標でも計算方法が違えば経営判断に使う数字が食い違うという問題です。AIでも観測指標の定義とデータ品質が曖昧なら、挙動について信頼できる主張ができず、安全性にも影響すると同氏は指摘します。
サラン氏は、監査可能で透明なAIシステムの実現を今後10年の重要な工学課題と位置づけています。さらに、AI基盤にも建築基準やソフトウェア試験のような共通標準が必要で、IEEEが標準化と世界の技術者をつなぐ役割を担えるとみています。