英研究チームがAIエージェント記憶技術xMemoryを開発、トークン消費半減

キングス・カレッジ・ロンドンとアラン・チューリング研究所の研究チームは、AIエージェントの長期記憶管理技術「xMemory」を開発しました。従来のRAGパイプラインが抱えるマルチセッション対話での冗長性問題を解決し、トークン使用量を大幅に削減します。

従来のRAGは大規模な文書データベース向けに設計されており、会話記憶のような相関性の高いデータストリームには不向きです。類似した埋め込みベクトルを持つチャンクが大量に取得され、重要な文脈情報が埋もれてしまいます。さらに会話特有の時系列依存性により、後処理での枝刈りが必要な情報まで削除するリスクがあります。

xMemoryは会話データを「生メッセージ→エピソード→セマンティクス→テーマ」の4層階層に整理します。検索時はテーマ層から下位層へトップダウンで探索し、「不確実性ゲーティング」により回答精度の向上に寄与する場合のみ詳細データを取得します。これにより冗長な情報の取得を根本的に防ぎます。

実験では、オープンモデル・クローズドモデル双方でxMemoryが既存手法を上回る精度を達成しました。一部タスクではクエリあたりのトークン消費が約9,000から約4,700に半減し、推論コストの大幅な削減を実現しています。ただし階層構造の構築にはバックグラウンドでの追加LLM呼び出しが必要であり、書き込みコストとのトレードオフが存在します。

研究者のLin Gui氏は、カスタマーサポートやパーソナライズドコーチングなど数週間〜数カ月にわたる一貫した対話が求められる業務での活用を推奨しています。一方、ポリシー文書や技術マニュアルの検索には従来のRAGで十分とのことです。コードはMITライセンスでGitHubに公開されており、商用利用も可能です。