背景
StateBench 是一個針對長上下文狀態追蹤（long-context state tracking）的基準測試，旨在評估語言模型在文件變長時，追蹤實體資訊變化的能力。狀態追蹤應用於閱讀程式碼（變數賦值與重新賦值）或追蹤故事劇情（角色移動、物品轉移）。不同於僅需找出最新更新的簡單任務，較難的任務需要追蹤一系列變更鏈，其中任何一步遺漏都會導致最終答案錯誤。現有測試多聚焦於最困難的案例，而 StateBench 旨在涵蓋不同複雜度的狀態追蹤問題，以理解不同架構在各類任務上的表現差異。 官方原文・Hugging Face Blog
發生什麼事
Allen AI 發布了 StateBench，包含技術報告、資料集與程式碼。該基準測試將狀態追蹤問題分為四個難度等級，並用於評估不同架構的語言模型。測試對象包括開放預訓練模型（如 Olmo 3、Olmo Hybrid）以及前沿模型（Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol 和 Luna）。此外，研究團隊還從頭訓練了 275 million 參數的模型，以探究架構本身與訓練資料對狀態追蹤能力的影響。 官方原文・Hugging Face Blog
重點內容
StateBench 定義了四個基於 Krohn–Rhodes 理論的狀態追蹤等級，對應不同的變數賦值操作：R-trivial（不可變賦值，變數值永不改變）、Aperiodic（按值重新賦值，只需找最新值）、Soluble（自參考更新，每次更新基於當前值，如 x = x + 5）以及 General finite（按參考賦值，變數間存在依賴，如變數交換）。為了公平比較，所有等級的問題都從同一個通用有限序列導出，保持變數數量、不同值的數量以及賦值出現的位置相同，僅改變賦值類型。 官方原文・Hugging Face Blog
在預訓練模型測試中，大多數模型在 R-trivial 問題上表現良好，但在 Aperiodic 問題上隨著輸入變長準確率下降，而在 General finite 問題上則接近隨機猜測。前沿模型（Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Luna）在 Soluble 和 General finite 問題上，隨著輸入變長準確率急劇下降，在最長的 General finite 問題上準確率降至 13% 或更低。問題格式也會影響結果，例如 275 million 參數的混合模型在 RULER 風格的 R-trivial 問題上接近滿分，但在同樣問題的電子表格編輯格式下接近隨機。 原文
在直接訓練實驗中，研究團隊從頭訓練了 275 million 參數的模型，訓練序列長度達 256 次賦值，測試序列長度達 64,000 次賦值（訓練長度的 250 倍）。結果顯示，Gated DeltaNet（一種循環架構變體）和混合模型在 R-trivial、Aperiodic 和 Soluble 問題上幾乎完美泛化到最長序列。純 Transformer 模型雖然學會了較簡單的等級，但在長序列上表現退化，且從未學會最難的 General finite 問題。具有更靈活記憶體更新的 Gated DeltaNet 變體泛化範圍最廣，在約 10 倍於訓練長度的序列上仍保持近乎完美的表現。 原文
對使用者的意義
StateBench 提供了一種更細緻的方法來找出模型在哪裡會失效，並為仍不足的能力構建訓練和評估資料。對於開發者而言，這有助於理解不同架構（如 Transformer 與混合架構）在處理長上下文狀態追蹤時的實際差異。研究指出，隨著循環和混合架構變得更加普遍，了解每種架構能處理哪種狀態追蹤對於指導未來系統的開發和訓練至關重要。 官方原文・Hugging Face Blog
限制與未定事項
StateBench 假設變數數量固定，而現實任務中實體會隨時間出現，目前的框架尚未涵蓋這種動態新增實體的情境。此外，關於具有有限記憶體更新（非負特徵值）的 Gated DeltaNet 在層級中的確切位置仍有待釐清，包括其是否能解決所有 Soluble 任務，以及數值精度或與注意力層結合如何影響其能力。 官方原文・Hugging Face Blog
