Dual Exam 分開測代理與世界模型：會下指令，為何世界仍可能變錯？
Dual Exam 以 1,088 項代理評測與 400 個世界模型案例，分開檢查動作選擇和場景變化。解析兩條評測的不同指標、物件身分與狀態保留，以及排行榜與配對推論限制。
代理要求把東西放進背包，畫面卻悄悄換成另一個袋子。即使它接著說任務完成，指令與世界變化仍可能沒有對上。Dual Exam 想把這兩種問題分開看。
研究團隊在二〇二六年十月二十二日提交論文，一條評測固定環境反應來測代理選動作，另一條固定動作來測世界模型怎麼改變場景。世界模型在這裡負責產生動作之後的可見狀態。
兩條評測分別有一千零八十八項與四百個案例，橫跨不同工作情境。它們共享檢查目標與約束的原則，卻不是逐題配對的同一份考卷。
因此，代理榜的 31.3 指數與世界模型榜的 21.7 分不能相減，也不能都解讀成任務成功率。題目組成、評分與涵蓋範圍會影響排序。
我的判斷是，這份研究適合提醒開發者分別驗證決策和狀態，而不是直接挑兩個榜首組隊。作者也明說，兩條分數如何預測配對成效還沒有被證實。
先看一項工作可以在哪兩個地方出錯，才知道為什麼要固定其中一邊再測另一邊。
Dual Exam 為何分開代理選動作與世界模型回應？
配對系統的失敗可能來自錯誤決策、錯誤狀態變化或互動，整體結果本身不能指出是哪個元件出了問題。代理若選對動作，世界模型卻把目標物件換掉，最後仍然會失敗。
反過來，世界模型可能忠實畫出動作結果，但代理從一開始就走錯方向。例如要求收好杯子，代理卻選擇把杯子移出工作區，畫面即使每一步合理，也沒有完成使用者的目標。
Dual Exam 論文先用 GPT-5.6 Sol 搭配 Seedance 2.5 做先導測試，一百五十個案例分成十類、每類十五個，每項只嘗試一次，最多二十步，沒有完整成功案例。
這個零只描述那一組模型、案例與限制，技術初始化失敗也另作排除。它提醒研究者檢查配對困難，不能推成所有代理與世界模型都無法互相使用，更不能推成多次嘗試也必然失敗。
如果只留下零成功的總數，開發者仍不知道應換代理還是換生成器。Dual Exam 因此把決策與場景反應拆開，讓其中一邊保持固定，才有機會看見另一邊的特定弱點。
這種拆分也避免把漂亮畫面當成工作完成。畫面可以維持風格與清晰度，卻悄悄遺失一個物品。對代理而言，這個小變化可能讓後續所有推理都建立在錯誤狀態。
要描出各自缺口，研究因此設計固定環境與固定動作的兩條測試。
🤔 Can 𝗮𝗴𝗲𝗻𝘁𝘀 and 𝘄𝗼𝗿𝗹𝗱 𝗺𝗼𝗱𝗲𝗹𝘀 get the job done?
— Lingdong Kong (@ldkong1205) October 26, 2026
Introducing 𝗗𝘂𝗮𝗹 𝗘𝘅𝗮𝗺, a new framework for evaluating multimodal agents and world models under controlled conditions!
Tech Report:https://t.co/wbCgAIrBfD
An agent can keep following its plan after the… pic.twitter.com/x6gJmcbTbS
固定環境、固定動作，各控制了哪些條件？
代理軌固定參考環境反應，世界模型軌固定動作干預，再按各案例的目標、可變與受保護狀態檢查結果。固定一邊，是為了減少兩個元件同時改變造成的判讀困難。
代理軌讓不同代理面對既定的參考反應，觀察它如何選擇和推進。這樣能把主要差異集中在決策，但參考環境本身仍有設計與實作假設，固定不等於已證明完美。
世界模型軌則先給定動作，觀察生成之後的狀態。若要求移動紅杯子，杯子位置可以改，其他物件的身分與數量應保留。這些未被要求改變的部分，就是受保護狀態。
任務規格因此同時寫出目標和約束。只問「看起來像不像放入背包」，可能放過換袋子的錯誤。補上「仍是原來的袋子、其他物品沒有消失」，才會把評分接回工作目的。
把目標與保護條件一起寫，也能區分兩種失敗：想改的部分沒有變，或想保留的部分被改掉。前者像按鈕沒有反應，後者像改了按鈕卻順便換掉其他文字。對後續代理來說，修復方式並不相同。
兩條軌道共享這種檢查原則，但沒有使用逐題配對的同一份互動資料。因此，不能把某代理在甲題的表現，直接和某世界模型在乙題的分數合成預期配對成功率。
這個限制影響排行榜的用途。它可以幫助找出元件在哪些條件失效，卻尚未建立兩個榜首放在一起會最好的證據，實際互動中的誤差回饋仍要另測。
這個設計共享原則，實際題目和評分仍各自不同。
一千零八十八項代理評測，怎麼成為 31.3 指數？
Agent Index 按選定題目數量加權，混合嚴格完成與分級成績，不能直接稱為整體成功率。指數用來彙整不同類工作，但每一類原本如何給分，仍會影響讀者可以做的解讀。
代理軌的一千零八十八個評測單位，包含實體情境五百二十四、數位工作二百五十五、社會互動兩百、科學工作一百零九。它們分布在十五類任務，並不是每類相同數量。
這讓實體情境約占 48.16%，數位約占 23.44%，社會約占 18.38%，科學約占 10.02%。若團隊只做網站操作，這個總分的配重便和自己的工作分布不同。
科學工作的一百零九也有內部結構：六十三項 ALE、三十項程式修復、十個衍生的工具選擇檢查點，以及六項 Edge 工作。當中九十九個是工作流程，十個是另外計算的檢查點。
因此，一千零八十八適合描述評測單位總數，不能不加區別地說成一千零八十八個互相獨立、同樣長度的任務。短檢查與完整流程，對系統要求並不一樣。
官方表裡 Astra 的 Agent Index 為 31.3，這代表在上述混合評分與配重下的彙整位置。若把它改成百分之三十一點三成功，會讓讀者以為每題都只有成功或失敗兩種結果。
科學領域還使用不同工作的執行框架，端點與驗證條件未必都能用同一把尺獨立覆核。因此，總表提供共同比較入口，卻沒有消除每個底層任務原本的假設，實際採用仍需回到相應工作定義。
總分之外，各領域表現才能幫助選擇。某模型在高權重領域較強，整體就可能占優。若讀者關心的是另一個低權重領域，仍應看該類結果與工作條件。
代理題目的配重不同，世界模型的四百案例又有另一套聚合方式。
四百個世界模型案例，為何不能只看平均分？
八個情境各五十案例，完整涵蓋與部分涵蓋需分開，總平均也不能代替特定代理會遇到的狀態分布。Dual Exam 的這些案例要測的是動作造成的變化是否正確，以及其他狀態有沒有被保留。
四百案例按情境等量配置，彙整到領域後，比例卻不相等：實體約占三成七點五，數位與科學各占四分之一，社會占一成二點五。因此，它和代理軌不是同一種領域配重。
論文比較十六種設定，其中十五種涵蓋完整八情境，一種只涵蓋六情境。少測的部分不能當成零分，也不能在沒有標示範圍時，拿部分平均和完整平均排成完全相同的名次。
總表中 GPT Image 2 的 21.7 高於 MiniMax H3 的 17.3，但在具身情境，兩者分別為 20.9 與 53.8，方向反過來。這表示選模型要回到任務，整體第一不等於每一種互動都最好。
單張圖片模型也可能在視覺結果表現較好，但一張合理的結果圖，不會自動證明過程符合時間連續性或物理規律。影片、圖片與實際可執行狀態，仍有不同的驗證需求。
世界模型榜的分數因此回答的是特定規格下的狀態品質，不能和代理的 31.3 指數直接相減。兩者量尺、題目與加權不同，差出的數字沒有可解釋的共同單位。
模型在不同情境的起伏，還要回到案例裡究竟改了什麼、保住什麼。
背包、杯子與網頁案例，如何檢查狀態是否走樣？
檢查不只看畫面是否合理，還要確認物件身分、數量、動作效果和未要求改動的條件能否保留。論文案例能把這些抽象條件變成肉眼可對照的差異。
背包案例關心的是容器身分。模型可能畫出物品已經收進袋子，卻把原本袋子的形狀或位置改了。若只按「東西看起來被收好」給分，就會忽略代理原本操作的是另一個物件。
杯子案例則讓數量與持續存在成為檢查重點。一只杯子移動後，其他杯子不應憑空多出、少掉或互換。物件追蹤失真會讓下一步指令不知道到底指向誰。
紅色托盤與網頁情境也需要同樣的保護原則。指定一個局部變化，不能連未要求的內容都一起改寫，否則看起來達到目標的畫面，可能已破壞其他工作條件。
這對多步代理尤其重要。代理會把生成結果當成新觀察，若它沒有發現環境偷偷改了物件，後續可能合理地依錯誤畫面規劃，最後卻離使用者要求越來越遠。
不過，這些是用來說明機制的案例，並未提供它們在所有模型中的發生頻率。部分收納案例的判準還帶有事後分析性質，也不應包裝成每項都經獨立裁決的普遍統計。
這些例子能說明可能的失敗模式，但不能直接推算所有模型的失敗頻率。
兩個榜首配一起，還需要補哪些驗證？
有效配對仍需在同樣互動上測試，並補評分者獨立一致性、重複測試與不動作等對照，才能判斷可靠程度。我會把兩條榜單當成定位問題的起點，而不直接當作組裝處方。
評分一致性，是看不同評分者是否會對同一結果給出相近判斷。論文仍缺足夠分層、獨立的世界模型評分一致性資料，某些細微狀態差異是否被穩定辨認，需要進一步驗證。
重複測試則用來觀察波動。同一提示生成的杯子位置或網頁內容可能不同，若只取一次結果，排名差異可能包含隨機起伏。沒有重複的不確定性，就不容易知道差距是否穩定。
不動作、沿用上一張圖，或打亂動作順序等對照，也能查出評分是否真的獎勵正確變化。若沒有執行要求卻仍得高分，代理需要的動作效果就可能沒有被量尺抓住。
也應避免只檢查最終畫面。若杯子中途消失又被重新畫出，結尾看似正確，代理在中途卻已接收錯誤資訊。配對測試需要保留每一步觀察，才能判斷錯誤如何傳到後面的決策。
最後要接回同一條互動閉環，也就是代理選動作、世界回應、代理再觀察並修正。單獨成績好的元件，可能對另一方的錯誤很敏感，這種配合問題無法從兩個分數直接算出。
可先把自己的任務寫成動作效果與受保護狀態，分別驗兩個元件，再測整條閉環是否完成工作。這樣才知道該改善的是決策、場景保留，還是兩者之間的交接。
延伸閱讀：AgentVQA 用一千題測視覺代理：最高 58.5%，為什麼會推理仍可能按錯按鈕？
延伸閱讀：Hy-Nomas 開放互動影片世界模型：文字、相機與 280 案例評測，單張 4090 能做什麼？
常見問題
Dual Exam 的 31.3 和 21.7 可以比較誰比較強嗎？
它們分屬代理與世界模型軌，題目、權重與量尺不同，不能相減，也不能都稱為任務成功率。
先導測試零成功代表所有模型都不能配對嗎？
只限 GPT-5.6 Sol 與 Seedance 2.5 的指定一百五十案例、一次嘗試及步數限制，不能擴大到其他模型或所有使用條件。
