StateBench 長文本評測：找得到資訊，為何仍追不對最後狀態？
StateBench把長文本狀態追蹤分成四種更新難度，測試預訓練、前沿與直接訓練模型。解析為何找得到資訊仍會算錯最後狀態，以及訓練、架構和企業驗收的差別。
StateBench 測試的是 AI 讀完長文件後，能否跟上資料的變化。文件裡某個人換了位置、物品轉手或變數改值，最後答案就不能只靠找一句原文。
長上下文視窗只代表模型能接收較長輸入，並沒有保證它能把每次修改接起來。這個差別，會影響專案紀錄、程式與多輪對話的使用方式。
Ai2 在 2026 年 11 月 3 日介紹這套基準，把狀態追蹤按更新方式分成四個難度層級，讓研究者看清模型從哪一步開始失敗。
研究同時比較開放預訓練模型、前沿模型，以及直接針對任務訓練的模型。因此，某一組低分不能代表所有架構都沒有能力。
對建立長文件工作流程的團隊，這項研究最值得借鏡的是評測的拆法。先辨認工作需要找最新值，還是必須串起一連串依賴，才能選擇適合的驗收題。
這條分界，得先從最簡單的不變事實，走到會互相改變的變數來理解。
StateBench 如何區分找資訊與追蹤變化？
這套基準要分辨的是，模型只會定位一個值，還是能沿著多次更新算出目前的值。兩種能力都會用到長文件，但必須保留的關係不同。
依Ai2 官方介紹，狀態追蹤會出現在讀程式與讀故事中。變數被重新賦值，或角色把物品交給另一個人，都會改變後面問題的答案。
如果文件直接寫明「刀交給瑪麗」，模型只要找出這句話就可能作答。但如果只寫「把背包裡的物品交給她」，就必須先知道背包內放了什麼，才能理解這次轉手。
資料長度和依賴深度是不同問題
前一個例子需要定位資訊，後一個則需要把事件相接。即使兩份文件字數相同，後者也可能因為跨越更多關係而更難處理。
因此，單看模型能接收多少 token，無法判斷它適不適合管理動態紀錄。Token 是模型處理文字的單位，語言與編碼會影響數量，不能固定換成同樣的中文字數。
一個實務上的假設例子是專案負責人變更：文件可能直接寫出新負責人，也可能只說改由另一個小組目前的主管接手。後者多了一層需要追蹤的資訊。
這是依研究方法延伸的工作情境，並非 Ai2 已測過某家公司。它說明評測需要控制的，不只是資料量，還包括答案依賴多少次狀態更新。
StateBench 將這些更新規則排成四個層級，讓研究者在接近的問題結構下，觀察增加哪種關係會造成困難。
Can LLMs track state changes over long texts—like an object changing hands or a variable reassignment?
— Ai2 (@allen_ai) November 3, 2026
On our new StateBench eval, frontier models including GPT-6 Sol & Claude Opus 5.5 fell to 13% accuracy or lower on the hardest, longest problems. 🧵https://t.co/vrGYHND3LN pic.twitter.com/bp7c3ibA5P
四個難度層級，差在什麼更新規則？
四層的差別，從一個值不再改變，逐步走到值會受到其他變數影響。這種分法讓讀者能把抽象的模型能力，對應到具體工作。
最簡單的 R-trivial 層使用不可變賦值，也就是某個變數設定後不再修改。像出生日期這類固定資訊，模型主要要做的是找回最初的設定。
Aperiodic 層允許直接指定新值。若溫控器先設二十四度，後來改成二十二度，答案取決於最後的設定，早先數值便可以忽略。
需要累積計算，和需要跟著其他變數走
Soluble 層加入依目前值更新的操作，例如原有分數再加五。模型不能只找最後一個數字，因為那個數字是變化量，不是最後結果。
General finite 層再加入參照其他變數的更新，例如把甲的值設成乙目前的值，或交換兩者。這時每一步都可能牽動後續更新，漏掉早先事件就會一路影響答案。
作者用五個杯子交換位置的球來說明最難層級。先交換哪兩杯，再交換哪兩杯，會決定最後球的位置，所以不能把操作當成可任意調換順序的清單。
這些直觀例子背後有代數理論，但讀者不需要先學完整數學才能使用評測。工作上更直接的問題是，系統需要找出最新設定、累積變化，還是追蹤互相依賴的更新。
同一組事件，派生不同難度
為了讓比較更公平，研究從一組一般有限狀態問題，派生三個較簡單版本。變數數量、可用值與操作出現的位置維持一致，只改更新方式。
因此，模型在某一層失分時，研究者較能辨認是新加入的更新規則造成難度，而非單純換成更長或不同主題的文章。
但問題如何呈現在文字中，也會影響結果。這點在預訓練模型的測試中特別明顯，因為同一種底層規則，換個格式就可能得到不同成績。
預訓練與前沿模型，分別在哪裡失去準確度？
研究沒有只測一種模型，也沒有把所有成績混成一張排名。它先觀察開放預訓練模型，再另測四個前沿模型，以分清能力差異和評估條件。
第一組包含標準 Transformer 的 Olmo 3，以及加入 Gated DeltaNet 層的 Olmo Hybrid 等模型，規模涵蓋數億到七十億參數。
這組模型的預訓練資料相同，且訓練時沒看過超過六萬四千 token 的輸入。
Transformer 的注意力機制可以讓模型對照先前內容。循環與混合架構則帶著持續更新的內部記憶往前走。兩者提供不同的資訊處理方式，但不能只靠名稱判定實際表現。
題目格式可能改變同一能力的成績
作者發現，多數預訓練模型在最簡單層級表現良好，直接覆寫的層級則隨輸入變長而下降，最難層級接近隨機猜測。
不過，小型混合與 Gated DeltaNet 模型在 RULER 式的簡單題目接近高分，換成試算表編輯的呈現方式，卻可能接近猜測。
所以不能從其中一種包裝的曲線，直接寫成模型具有穩定不變的記憶能力。格式差異也是基準的重要發現，而不是可忽略的雜訊。
這對開發者有實際意義：若正式工作使用表格、日誌或聊天紀錄，測試也應保留對應格式。換成模型熟悉的教科書式問題，可能測不到真正會失敗的地方。
前沿模型也有長依賴問題
第二組包含 Gemini 3.8 Flash、Claude Opus 5.5，以及 GPT-6 Sol 和 Luna。研究要求它們讀取變數更新序列，再輸出各個變數的最終值。
這四個模型在固定值與直接覆寫的簡單層級表現良好，但在累積與一般有限狀態問題中，準確度會隨長度明顯下降。最長的一般有限狀態問題降至百分之十三或以下。
這個結果不是所有日常長文件工作的統一答對率。它指出在研究指定的高依賴更新任務中，即使換成前沿模型，仍需要驗收最後狀態是否正確。
接著要問的是，失敗來自架構做不到，還是預訓練沒有把這種能力教好。研究第三組測試，正是把訓練條件改得更有利來回答這個問題。
直接訓練後的改善，為何改變架構判斷？
針對任務訓練，讓研究者能觀察模型在得到明確學習材料後，是否仍卡在相同難度。因此，這組結果不能和一般預訓練模型的分數直接互換。
團隊從零訓練數種約二億七千五百萬參數的模型，包含兩種 Transformer、兩種混合架構，以及兩種記憶更新限制不同的 Gated DeltaNet。
訓練序列最多包含二百五十六次賦值操作，測試則延伸到六萬四千次。這裡衡量的是操作次數，並不是把同一個數字當作 token 視窗長度。
有些架構的限制，會因訓練而改變
在較簡單的三個層級，直接訓練的混合與 Gated DeltaNet 模型，能把能力外推到遠長於訓練的更新序列，最長測試接近完美。
最難層級則出現更細的差別：記憶更新較靈活的 Gated DeltaNet，能在約十倍訓練長度的範圍維持接近完美。這和它的預訓練版本表現不佳，屬於不同現象。
因此，不能看到預訓練模型失敗，就宣告所有循環記憶都無法處理這類問題。研究顯示，對部分架構而言，訓練內容本身是重要因素。
相較之下，受測 Transformer 即使直接訓練，也沒有學會最難的一般有限狀態層級。這支持作者對架構差異的分析，但結論仍受本次模型、訓練與理論假設約束。
理論與真實系統之間仍有開放問題
研究的數學結果涉及數值精度與四捨五入等條件，部分限制較多的記憶更新形式，究竟能涵蓋哪些層級，仍沒有完全確定。
基準也假設變數數量固定。然而，真實對話可能持續出現新人物、新物品與新工作，系統還要決定何時建立新的追蹤對象，這部分不在目前框架內。
因此，StateBench 是分辨能力落差的工具，而非對任意企業流程的完整保證。把這些限制帶回工作設計，才能形成有用的驗收方法。
企業長文件如何借用這套評測？
最直接的用途，是先把工作中的更新規則寫清楚，再為每一類建立有標準答案的題目。這比只用文件長度或模型宣傳視窗挑選服務，更接近使用需求。
若工作只需找最後一次直接指定的值，應測模型是否漏讀最新事件。若要追蹤物品轉手、數量累積或跨變數更新，則要測完整事件鏈，而不只測最後一頁。
讓錯誤可以定位到某一步
實務驗收可保留事件來源、抽取出的更新與計算後的狀態，讓錯誤發生時能追查是文字理解、事件順序，還是狀態計算出了問題。
例如，若模型正確辨識了所有授權與撤銷事件，最後的權限仍算錯，改善方向就不同於漏讀了某個撤銷句。這是由基準推導的工程分工，不是研究已證明某套商業產品可靠。
對必須得到確定結果的帳目或權限工作，可以讓語言模型整理事件，再用有明確規則的程式計算。程式仍需驗收，而模型抽取出的事件也需要回到原文核對。
因為文字來源可能含糊或矛盾，增加外部狀態表並不會自動消除錯誤。它的價值在於把問題拆開，讓每一段都能用適合的方法檢查。
把抽樣正確與穩定可靠分開
驗收也不能只挑幾個最後答對的例子，因為同一更新規則換成不同敘述、順序和長度，可能產生不同錯誤。對正式工作有代表性的題組，應同時包含常見格式與容易混淆的變更。
若系統能回報自己依據的事件，人工就能更快核對它是否使用舊值。但流暢的解釋仍可能接在錯誤答案後面，因此應把可核對的事件紀錄和敘述性理由分別檢查。
這也讓更換模型有了具體依據：比較相同題組中哪些更新鏈改善，哪些格式仍不穩定，而不是只看一個總分上升。對錯誤代價較高的流程，還需要依應用本身決定可接受的失敗程度。
StateBench 常見問題
StateBench 是否證明長上下文模型沒有用？
沒有。研究中較簡單的資訊恢復與直接覆寫任務，仍有良好表現。它揭露的是不同更新規則需要不同能力，不能把所有長文件工作視為同一種任務。
能接收更長輸入，就一定能解決狀態追蹤嗎？
輸入容量和跨事件計算是不同條件。研究的前沿模型仍會在長依賴鏈失分，因此應用必須測最後狀態，而不是只確認文件能完整送入。
資料與程式公開，是否能直接比較自己的模型？
官方儲存庫提供重現入口，但比較時要保留難度、呈現格式、序列長度與訓練條件。
若另加工具或外部記憶，應把它當成新的系統設定記錄。
讓評測對準真正會變動的工作資料
對建置長文件服務的人，StateBench 最實用的提醒，是先說清楚資料如何變，再測模型能否跟上。當錯誤能對應到更新規則和事件鏈，改架構、改訓練或調整工具分工，才有可比較的依據。
想持續追蹤 AI 研究方法與可驗證的技術進展，歡迎免費訂閱 AI 郵報。
延伸閱讀：CORAL 代理記憶研究：先寫進度再清空對話，為何能少讀文字又答得更準？
延伸閱讀：Ai2 發布 Olmo-core 3：開放大型 MoE 訓練工具，兆級參數測試代表什麼？
