world2vec 世界模型研究：不用獎勵學動態，為何會控制還不代表懂物理？
world2vec不用獎勵訓練世界模型，讓內部動態對上未來觀察。解析三個模擬環境、71個混沌系統、可讀方程與真狀態對齊限制，分清會控制和懂機制。
world2vec 想回答一個比「模型會不會把任務做完」更深的問題：它學到的內部變化，是否真的對得上環境的變化。原作者在 2026 年 10 月 30 日介紹新研究，嘗試把控制與理解動態放進同一套世界模型。
模型有時能拿到很高獎勵，卻未必能準確預測環境接下來怎麼走。若要把模型用在科學分析，這種只對任務有效的捷徑就不夠。
world2vec 因此從畫面與動作學狀態如何改變，不用任務獎勵當訓練訊號，也不要求把未來每個像素重畫一次。它在內部狀態連續往後推，檢查預測與真實未來能不能對上。
研究在三個簡化模擬環境中，以約 26.3 萬參數的模型取得兩項有效控制結果，但從像素解 CartPole 仍未完成。另有 71 個混沌系統的方程實驗，檢查內部動態能不能讀成可理解的關係。
我認為這份研究的價值，是把「會控制」和「動態是否可信」分開驗證。它適合機制建模研究，還不能當成已懂所有物理、能直接控制家用機器人的產品證明。
這兩種能力為何要分開，先從模型看到的畫面與它在內部動態預測的狀態談起。
world2vec 學的是狀態如何改變，畫面只提供觀察
模型先把一小段畫面編成內部狀態，因為只看一張圖通常無法知道物體的移動方向和速度。原作者專案把這種狀態叫作潛在表示，可以理解成模型整理觀察後，用來計算的內部座標。
假設一根擺桿在畫面中央，同一個位置可能正在往左，也可能正在往右。只記住位置而忽略速度，模型預測下一刻就容易出錯，所以短時間的觀察歷史有實際用途。
world2vec 接著學習，在某個狀態施加動作後，內部座標會以什麼方式改變。這裡的動態，指的是狀態隨時間和動作變化的規律，而不只是影片看起來是否流暢。
往後推的結果，要能對上觀察
模型從當下狀態出發，把預測的變化一步步累積，得到未來狀態。研究再把真正看到的未來畫面編碼，檢查兩條路是否到達相近位置。
這讓訓練不必先重畫出完整畫面。背景顏色或像素細節未必都需要重新生成，重要的是模型內部是否保留足夠資訊，描述環境如何演變。
不過，不重建影像不等於不用影像。輸入仍來自觀察資料，模型也得從這些資料學出可用狀態，不能把它理解為沒有資料也能理解物理。
同樣地，訓練不用獎勵，是沒有以任務得分指導這個動態模型。後續控制仍會有目標，否則模型只知道可能發生什麼，並不知道應該往哪個結果行動。
如果這套內部變化對得上真實觀察，模型才有機會用它規畫，也讓研究者檢查它學到了什麼。
多步訓練，讓一步看不出的誤差浮現
預測一步很準的模型，連續往後推時仍可能愈走愈偏，因此 world2vec 在訓練時就要求多步對齊。原始論文將變化率模型與多步訓練結合，讓小誤差累積後也會被看見。
可以把它想成推測擺桿位置：第一步只差一點，下一步又從錯的位置出發，之後的路徑就可能逐漸脫離真實運動。只驗第一步，容易錯過這個長期問題。
方法把變化率累積成狀態，而不只直接猜下一個座標。這個結構讓同一套模型可以討論時間尺度，也讓研究者追問內部變化是否反映環境規律。
預測分數高，還要排除什麼都編成一樣
如果模型把所有畫面都壓成同一個點，預測與未來編碼可能永遠相同，看起來誤差很小，卻完全沒有保留環境差異。研究因此另外加入限制，防止表示退化成這種無用解法。
兩個版本用不同方式維持表示分布，一個讓不同觀察保持區別，另一個把表示拉向指定分布。對一般讀者，關鍵是模型既要預測相符，也要保留能辨認不同狀態的資訊。
研究使用幾種不同指標，原因也在這裡。潛在軌跡一致性 LRC 看模型預測和實際未來編碼有多接近，但它單獨不能排除所有畫面都一樣的問題。
等變準確度 EQA 則要求模型從正確未來與其他候選中找出正解。實驗使用 512 個負例，讓高分必須建立在能區分未來，而非只讓兩串數字看起來接近。
另一個一致性指標比較不同訓練隨機種子的編碼結果，查看它們經座標對齊後是否相近。它回答的是重複訓練的表示是否穩定，與某次控制能否達到目標又是不同問題。
因此，LRC、EQA 和控制獎勵需要一起看。若其中一項很好、另一項卻很差，這個落差本身就是研究要解釋的現象，不能只挑最漂亮的百分比。
多步預測還帶來時間尺度的實驗
論文另示範，同一個 Reacher 模型可以調整計算步長，以不同時間尺度規畫，而不用重新訓練整個模型。這是連續變化率表示的用途，但只在指定模擬條件驗證。
它沒有保證任意感測頻率都能直接套用，更不能拿模擬中的重取樣，當成真實機器人在高速環境已安全運作。頻率、觀察與控制仍須對應實際系統。
判斷模型是否忠實，必須同時看預測是否對上未來，以及內部表示有沒有退化成什麼都一樣。
三個模擬環境中，兩項有效控制與一個未解難題
研究用隨機動作收集離線資料，再給模型目標畫面，讓它反覆規畫與修正控制。三個環境是擺桿、伸臂到目標位置，以及小車平衡桿，分別對應 Pendulum、Reacher 和 CartPole。
每個環境收集二十萬張 64×64 畫面，模型從短觀察歷史學習。這些是刻意簡化的物理控制問題，和家庭場景裡的遮擋、人員與大量物品有很大差距。
控制時，模型先模擬幾組候選動作，選擇內部動態預測較接近目標畫面的方案。執行前面一部分後重新觀察，再規畫下一段，避免一次猜完之後就不再檢查。
不用訓練獎勵，仍然要有人定義目標
目標來自已知的目標畫面。例如擺桿要朝上並停止，小車則有位置和平衡要求。Reacher 的目標還透過反向運動學計算手臂可達姿態，再渲染成目標觀察。
反向運動學是根據想要到達的位置，反推關節應如何配置。因此，這套控制沒有直接使用獎勵模型，仍然用了任務目標與環境知識，不能描述成完全沒有人提供方向。
主模型約有 26.3 萬參數，表格取整寫作 300k。較小規模有助於在這些環境快速實驗，但模型參數少，並不自動表示資料、訓練與規畫開銷都等比例縮小。
下面列出原論文同表中的累計獎勵，滿分為 1,000，數字描述測試任務得分而非成功率。
| 模型 | Pendulum | Reacher | CartPole |
|---|---|---|---|
| world2vec-dcl | 826 | 895 | 232 |
| TD-MPC2 | 911 | 744 | 894 |
| DreamerV3 | 668 | 792 | 899 |
world2vec 在擺桿和伸臂任務有有效控制，卻沒有在像素輸入的 CartPole 解出相同水準。只看前兩欄，就會漏掉方法仍未克服的控制困難。
比較條件也有差別。world2vec 使用隨機動作資料離線訓練，TD-MPC2 和 DreamerV3 依各自方式在線上、帶獎勵學習，所以不能把表格描述成完全相同訓練資源下全面勝出。
遠目標表現較好，也要保留測試方式
作者另外採用 LeWM 自己的目標達成流程比較 Reacher。對兩百步後的遠目標，world2vec-dcl 在指定 25Hz 設定的成功率為 80.2%，LeWM 為 52.9%。
這提供了長期規畫的另一組證據，但訓練資料與控制頻率並非完全相同。近目標的差距也小得多，因此不能把遠目標數字改成所有控制情境都會提高同樣幅度。
CartPole 的落差說明，內部動態預測改善並不自動保證每一種像素控制問題都被解開。
延伸閱讀：Gym-Anything for Robotics 公開 RoboWorld：AI 建模擬環境，測試 0% 要怎麼讀？
71 個混沌系統，測可讀方程是否接近真實機制
把內部動態寫成稀疏多項式，研究者便能看到哪些狀態之間存在可描述的變化關係。稀疏的意思是只保留少數有作用的項目，讓動態不只藏在難以閱讀的大量連結裡。
論文把這種方法接到 SINDy，也就是從候選數學項目中學出簡潔動態方程的方法。這部分沒有機器人動作輸入，而是用七十一個混沌系統，觀察模型能否回復動態。
混沌系統即使有明確規則，初始差異仍可能隨時間放大。因此，短期外觀相似並不足夠，研究還要檢查內部動態預測與真實演變是否一致。
方程看得懂，不表示直接找回真實物理座標
實驗先把已知真實狀態做非線性轉換，變成較高維度的觀察，再加入不同程度的過程噪音。模型看到的是這些觀察，不是原本乾淨的真實座標。
結果顯示，稀疏方程模型比單純假定狀態不變的基準好，並在多項動態回復指標接近一般神經網路。但一般神經網路的內部關係不容易直接讀，稀疏方程才提供可解釋的表達。
在 SprottA 範例中，作者把學到的表示，用已知真實狀態進行最小平方對齊，再移除很小的係數，才展示接近真實座標的方程。這個對齊步驟用了外部答案，必須保留。
因此，結果支持模型能學出可分析的動態，還沒有證明不知道真實狀態時，也能自動找回所有正確物理定律。作者把不使用真實狀態的後續回復方法，留給未來研究。
噪音的影響，不能只看預測一致性
這部分還呈現一個有意思的取捨：加入噪音能讓不同狀態方向有更多變化，有助於辨認表示，但也限制長期預測能精準到什麼程度。
所以高噪音下，研究另外比較對齊後的真實動態，而非要求有隨機擾動的未來每一步都完全相同。這再次說明，指標要對應所問問題，不能把一個一致性分數當成全部理解。
但示範方程回到真實座標仍用了真狀態對齊，因此目前證據尚不等於從未知世界自行找出全部物理定律。
world2vec 的下一步，是把可信動態帶進更複雜環境
這個小模型在簡化環境把預測與控制一起檢查，提供了分析世界模型的新起點。對科學建模研究者，最有用的是它能把「任務做得好」之外的問題，變成可量測對象。
例如，控制獎勵高卻預測偏離，表示模型可能找到有用行動，卻沒有形成可靠外推的內部動態。若後續要用模型解釋系統，這種差距就值得優先查明。
作者在單張 NVIDIA A100 上，單步模型訓練約二至六分鐘，多步版本則依長度增加。這是小型模擬研究的條件，不能換成一般筆電或家庭機器人的效能保證。
官站已連接研究程式，讓研究者檢查實作與條件，但它不是新商用 API，也就是供程式直接呼叫的服務介面。程式公開與有售價、服務承諾的產品，是不同交付形式。
對想取得家務控制器的人，我不會把這份研究當成現成答案。它還缺少複雜真實觀察、跨環境訓練與未知動態下的證據，也沒有展示家庭機器人的閉環部署。
若要走向機器人或科學量測，仍得證明在更複雜觀察和未知動態下，模型保持可預測且能被檢驗。
延伸閱讀：RynnUnify 開放具身模型：邊想邊預測影片，真機成功率 46.7% 怎麼讀？
world2vec 常見問題
world2vec 不用獎勵，是否也不用目標？
訓練動態模型不用任務獎勵，但控制時仍提供目標觀察。模型要能比較候選動作會把環境帶到哪裡，才能選擇要執行的方案。
這是生成逼真影片的世界模型嗎？
這份工作重點在內部狀態與動態，而非重建未來每個像素。影片外觀逼真，與模型內部能準確描述環境變化，是不同能力。
三個控制任務都已完成突破嗎？
作者在擺桿與伸臂任務有有效結果，但像素輸入的 CartPole 仍未解。將觀察改成非線性混合的狀態時有另一組結果，不能用它代替像素問題已完成。
71 個系統代表已自動發現物理定律嗎？
實驗支持可讀動態模型的可能性，但回到真實座標的展示使用已知真實狀態對齊。未知狀態下如何完整回復方程，仍是後續課題。
可從完整論文與實驗條件對照自己需要的是控制、預測還是機制分析，再選擇適當證據。
歡迎免費訂閱 AI 郵報，持續追蹤世界模型與 AI 科學研究。
