詳細を読む
Box(ボックス)の最高情報セキュリティ責任者(CISO)ヘザー・セイラン氏は、企業がAIエージェントを安全に運用するには権限管理だけでは不十分だと指摘しました。権限はエージェントが到達できる範囲を定めるものの、実際の行動までは制御できないためです。人間よりも高速かつ網羅的に権限を探索するエージェントの特性が、新たな脅威を生んでいます。
同氏によれば、エージェントに標準で広い権限を与えると、一度の暴走が及ぼす被害範囲が拡大します。そのため、Boxではタスクに応じて必要な瞬間だけ権限を絞り込む仕組みを採用しています。あるステップで二つのツールしか使わないなら、権限もその二つに限定するという考え方です。
さらに重要なのは、権限があっても実行すべきでない行動を防ぐことです。セイラン氏は、経理フォルダへのアクセス権を持つ社員が誤って全社の給与データを公開フォルダに書き出す例を挙げ、アクセス権限のチェックを通過しても行動自体が問題になるケースがあると説明しました。プロンプトの指示だけに頼る統制も、指示の改ざんや誘導により破られる恐れがあります。
また、多くの企業システムはAIエージェント向けに設計されておらず、コンテンツのメタデータや分類、詳細なログが不足しています。Boxはこの課題に対応するため、行動を完全自律・監視付き・人による承認が必要な3段階に分類し、ファイルの大量削除など不可逆な操作は必ず人の承認を経る運用としています。
セイラン氏は、エージェントへの信頼は一度きりのアクセス判断ではなく、時間をかけた行動観察によって築かれるべきだと強調します。実験段階のエージェントの行動がログに残らないケースも多く、複数システムにまたがる行動の連鎖を可視化する仕組みづくりが、今後の課題になるとしています。