LLMの忘却を防ぐ新記憶構造GAM、コストと精度を両立

ウィンドウ拡大競争の限界

詳細を忘れる「コンテキスト腐敗」がAIの課題
窓拡大はコスト増と精度低下を招き持続不能

「記憶」と「検索」の分離

全履歴を保存し、必要な瞬間に文脈を再構築
記憶と検索に役割を分けるデュアル構造を採用

既存手法を凌駕する性能

長文理解でGPT-4o等を凌ぐ90%超の精度
モデル巨大化より「記憶の構造化」が実用の鍵
詳細を読む

中国・香港の研究チームが、AIの長期記憶における「コンテキスト腐敗」を解決する新アーキテクチャ「GAM」を発表しました。従来のLLMが抱える情報の忘却問題を、モデル拡大ではなく構造の工夫で解決する画期的なアプローチです。

現在のAI開発はコンテキストウィンドウの拡大競争にありますが、これには限界があります。膨大なトークン処理はコスト増大に加え、重要情報が埋もれて精度低下や遅延を招くためです。単に入力枠を広げるだけでは、実用的な記憶能力は得られません。

GAMはこの課題に対し、機能を「記憶(Memorizer)」と「調査(Researcher)」に分離しました。Memorizerは全対話を要約せず構造化して保存し、情報の欠落を防ぎます。一方、Researcherは必要な時、必要な情報だけを能動的に検索して回答を生成します。

ソフトウェア開発の「JITコンパイラ」のように、GAMは事前に情報を圧縮せず、要求された瞬間に最適なコンテキストを組み立てます。これにより、長期プロジェクトや複雑なタスクでも、AIは過去の経緯を正確に維持し続けることが可能です。

性能評価でGAMは、既存のRAGやロングコンテキストモデルを凌駕しました。特に長期間の文脈追跡を要するテストでは90%超の精度を記録し、要約による情報損失が起きやすい従来手法に対し、圧倒的な優位性を示しています。

今後のAI開発では、モデルの巨大化より「記憶システムの設計」が重要になります。情報をどう保存し取り出すかという「コンテキストエンジニアリング」への移行が、AIを信頼性の高いビジネスツールへ進化させる鍵となるでしょう。