StateBench、長文での状態追跡を4段階評価

Allen Institute for AIは、長い文書の中で変化する情報をモデルが追跡できるか測るベンチマーク「StateBench」を公開しました。変数の再代入や登場人物の移動のように、対象の状態が更新される問題を扱います。

問題は、値が変わらないもの、最新の値を探すもの、前の値に基づき更新するもの、別の変数との依存関係を追うものの4段階に分類されます。同じ基礎問題を複数の形式で出し、表現方法による成績差も調べます。

事前学習済みモデルとフロンティアモデルでは、単純な課題は解けても、依存関係の複雑な課題で入力が長くなるほど精度が落ちました。Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 SolとLunaは、最長の一般有限課題で正答率が13％以下となりました。

一方、課題を直接学習させた実験では、Gated DeltaNetやハイブリッド型が、訓練時より大幅に長い系列でも複数段階の問題に高い性能を示しました。著者らは、StateBenchがモデル構造ごとの得意不得意を明らかにし、学習や評価の改善に役立つとしています。