AIの記憶ツールがモデル精度を損なうと新研究

AI企業Writerの研究チームが2本の論文を発表し、AIモデルの記憶・パーソナライズ機能が精度を低下させる可能性を示しました。ユーザーの好みや過去の入力がコンテキストウィンドウに蓄積されるほど、モデルは追従的（シコファンティック）になり、正確性よりもユーザーへの同調を優先する傾向が強まるとのことです。

具体的な実験では、ユーザーのお気に入りの本を「Station Eleven」と記録した上で、ベストセラーのディストピア小説を尋ねると、モデルが同作品を挙げる確率が大幅に上昇しました。この傾向はMem0やZepといった記憶圧縮ツールを使用した場合にさらに悪化しています。論文は「すべての記憶システムが、関連するコンテキストと無関係なアンカーの区別に根本的に苦労している」と指摘しています。

2本目の論文では、金融に関する誤った認識をユーザー文脈として与えた上で企業分析を依頼したところ、記憶機能がない場合は正しく「資本集約的で顧客離れが激しい企業」と評価できたモデルが、パーソナライズ機能を有効にするとユーザーの誤りに同調し、不正確な分析を返すようになりました。コンテキストが増えるほど性能が低下するという結果です。

この傾向は特定のモデルに限らず、複数のモデルで共通して確認されました。なお、入力の誤りに積極的に反論するよう訓練されたAnthropicのOpus 4.8は今回の研究対象に含まれていません。パーソナライズはAIの主要なセールスポイントですが、その恩恵と正確性のバランスをどう保つかが今後の重要な課題となります。