LaLa-World 用文字統一機器人動作：規劃快 13.9 倍，為什麼不需要先畫出未來？
LaLa-World 把不同機器人的數值動作改寫成文字，在視覺特徵裡推算未來。本文說明規劃快13.9倍的比較條件、LaLa-Policy成績，以及程式與權重尚未完整公開的限制。
機器人把杯子往左推之前，必須先估計哪個動作更接近目標。LaLa-World 想加快這種規劃，讓模型不必先生成一段逼真的影片，才能比較動作結果。
不同機器人的動作數字卻代表不同事情，直接把資料混在一起，模型未必知道同一個數值是在移動還是在施力。
NAVER AI Lab 等研究者在 2026 年 10 月公開 LaLa-World，嘗試用自然語言把這些動作接到同一個未來預測器。
模型預測的是圖片的內部特徵，作者在指定對照中得到更快的規劃，也把它進一步訓練成能產生動作的 LaLa-Policy。
我認為這條路值得機器人研究者追蹤，但現有程式庫還沒提供完整訓練、評測程式與權重，不能當成已能直接部署的控制產品。
要理解速度從哪裡來，先看模型究竟是在預測畫面，還是在預測做決策需要的資訊。
LaLa-World 預測的未來，和生成影片差在哪裡？
它預測未來畫面的視覺特徵，讓規劃器比較動作結果，不把重建每個像素當成主要訓練目標。視覺特徵是模型從圖片整理出的內部資訊，可能保留形狀與位置，卻不需要還原全部紋理。
這和使用者看生成影片的目的不同。影片要讓人看得自然，場景外觀不能隨便跳動。規劃器首先需要知道，選這個動作之後，物體是否比較接近目標位置。
因為規劃會反覆比較許多候選，若每一條都先生成完整畫面，成本就可能很高。作者嘗試把重複推演留在內部表示裡，等到需要展示時才另行解碼。
這種做法稱為潛在世界模型。潛在指的是模型內部表示，不是另一個看不見的真實世界。它仍然從觀察與動作學習變化，也可能預測錯誤。
例如推動桌上的物件時，規劃器可以比較不同方向帶來的未來特徵，再看哪個更接近目標圖片。它不必先替每個候選畫出精美影片，才能做這個比較。
論文中的解碼展示因此可能沒有影片生成模型那麼清晰。這不直接決定規劃好壞，因為訓練的主要目標是預測可用特徵，而不是讓每張展示圖都更漂亮。
少畫一些細節能降低反覆推演的成本，但不同動作還需要共同的表達方式。
把動作寫成文字，如何接起不同機器人資料？
研究把位移、旋轉和施力等數值改成帶有意義的文字，並讓一般影片的視覺變化也走相同語言入口。這是讓不同資料能由一個預測器共同學習的關鍵。
單獨一串數字沒有足夠背景。在平面推物任務裡，兩個數值可能代表左右與上下位移。到了機械手臂，更多數值又可能表示旋轉和夾爪開合，直接混用容易失去意義。
研究改寫成移動多少、朝哪個方向、是否開啟夾爪等文字。數值還在，但多了角色與動作說明，模型才有機會把不同任務裡相近的變化連起來。
這並不取消資料規格。官方程式仍提供動作正規化與文字格式，正規化是先把不同尺度整理成約定範圍。若單位或方向不同，文字看似相近也可能代表另一個動作。
一般影片則可以描述前後畫面發生什麼變化，圖片編輯資料也能提供改變內容的語言條件。它們未必有機器人的控制數值，卻能用相同形式提供視覺轉變的學習材料。
作者因此把模擬、機器人、影像與影片資料放進共同預測任務。這是在資料表示上建立共通介面，不代表學過一種文字指令就能直接操作所有品牌的機器人。
共同預測器以 Qwen3.5 的小型語言模型建立，讓它原本理解文字的能力參與動作條件判讀。畫面則由另一個固定的視覺編碼器整理。因此，這不是讓語言模型直接把所有像素當文字讀，而是讓兩種資訊在預測器裡會合。
研究也比較帶數值和較概略的語言，例如明確位移和稍微往左。概略描述可以減少指定精確數字的需求，但意思仍需從訓練資料學到，尤其不同場景裡的「稍微」可能對應不同實際距離。
共同入口建立後，預測器才有辦法把目前畫面、候選動作和目標放在一起比較。
模型怎麼在內部推演，再挑下一個動作？
規劃器先提出多組動作，反覆預測未來特徵與目標的距離，再執行選出的前一段動作。執行之後重新觀察，接著再規劃，而不是一次想完就相信整條路都正確。
這種反覆規劃的方式叫 MPC，可以理解成走一小段就重新看路。環境若和預測不同，下一輪能根據新觀察調整，降低一直沿用舊推測的影響。
LaLa-World 的視覺編碼器先把目前與目標畫面轉成特徵，預測器則結合目前資訊與候選動作文字，推算後續表示。編碼器就是負責把畫面轉成模型可用資訊的部分。
規劃器再用預測結果和目標的差距篩選候選，逐步集中在較有希望的動作序列。選出一條較好路線，不代表模型曾真的執行所有候選，它們主要是計算中的嘗試。
這也說明為什麼預測品質重要。若內部表示把兩個不同位置看得太像，規劃器可能以為已經接近目標。即使搜尋更多候選，也可能在錯誤的比較依據上花更多時間。
研究涵蓋平面推動、迷宮、繩索和機械手臂等任務，結果應按各自的成功定義閱讀。平均較高可以支持共同模型的方向，卻不能代替每個任務都檢查失敗情況。
這種反覆試算最吃重的部分，正是作者拿來和生成式世界模型比較的地方。
13.9 倍規劃速度，究竟和哪一種設定比較？
這個倍率來自單張 H100 上每條軌跡的平均規劃時間，對照是採五步去噪的完整 RAEv2 模型。去噪是生成模型逐步修正帶有雜訊表示的過程，步數越多通常也需要更多計算。
作者先讓不同深度的模型使用相同數量的轉變資料訓練，再比較規劃時間。這比只挑最快的新模型和最大舊模型對照更有意義，但仍然是研究指定的實驗設定。
換成只用一步去噪的 RAEv2，比較得到的倍率是二點九倍。兩個數字都屬於同一份研究，差別來自對照組每次預測做了多少工作，因此不能只留下最大的倍率。
訓練成本也有自己的量測。八張 H100 的十二小時預算比較中，LaLa-World 約兩小時就達到五步 RAEv2 在十二小時時的規劃表現，這是六倍訓練時間差距的來源。
它不表示任何規模的世界模型都能少用六分之五的訓練資源。資料、模型深度與比較目標固定，才能把時間差解讀成該設定下的效率證據。
後期規劃表現也出現差距，但這和純速度不能混成同一個指標。研究是在特定任務平均下比較是否成功，不是直接量測真實機器人工作一小時能完成多少訂單。
這個比較也凸顯外觀與決策資訊的差別。若任務只需要知道物體是否移向目標，生成更細緻的紋理未必能增加選動作的價值。但若目標涉及細小物件或特定外觀，仍要確認內部特徵有沒有保留那些線索。
規劃變快描述的是挑動作的流程，還不等於模型已能直接產生機器人指令。
LaLa-Policy 如何從預測未來走到產生動作？
研究另加動作生成模組並微調，讓模型同時預測動作片段和未來特徵，才形成 LaLa-Policy。它利用世界模型當起點，卻不是把原本預測器直接接到馬達。
世界模型可以拿來評估候選，政策模型則要根據觀察直接提出可執行動作。兩者都談動作，但一個主要幫忙比較未來，另一個要負責產生下一段控制輸出。
作者在原預測器加入動作查詢，再使用新的動作生成模組產生動作片段。這個模組從頭訓練，世界模型提供的只是部分初始能力，因此仍需要對應的示範資料。
微調就是在已訓練模型上，針對新任務繼續學習。這裡的輸入包含目前觀察和任務要求，訓練結果則需要同時對應動作與後續視覺特徵，讓兩者維持關係。
為了判斷世界模型預訓練是否有幫助，研究也比較隨機初始化與只從語言模型開始的版本。若沒有這些對照，就很難分清改善來自新資料，還是先前學到的視覺變化。
和 Cosmos Policy 的比較也經過調整。作者讓兩邊都預測動作與未來觀察，沒有沿用對照組額外的身體狀態與價值預測目標，所以分數不能直接當成原產品的公開排行榜。
兩個系統的任務與計時不同，所以接著要把成功率和速度放回各自的測試條件。
模擬成功率和五點五倍推論，能推到真機嗎？
LIBERO 與 RoboCasa 的成績來自模擬器，五點五倍是指定比較組的每條軌跡平均推論時間。它們提供一致環境中的比較，沒有涵蓋真實相機誤差、機械磨損或現場碰撞風險。
在 LIBERO，作者報告 LaLa-Policy 平均成功率為 97.7%，對照的 Cosmos Policy 為 97.3%。這個差距不大，研究的價值也包括用不同預測表示達到相近能力，而不只是追求更高分。
RoboCasa 使用每項任務五十條示範時，兩者為 57.3% 與 56.0%。另一組使用三百條合成示範的結果屬於不同訓練條件，不能把較高分數接到前一組較少資料的成本說法上。
時間表列出，RoboCasa 每條軌跡平均推論從十一點七一秒降為二點一二秒，約五點五倍。LIBERO 則約五點二倍，兩者都不是每次馬達控制的延遲。
實際採用還要看任務是否允許這種動作片段長度，以及觀察更新後能否修正。模擬成功率提供起點，不能替真機的控制精度與安全停機條件作保證。
評測時，模型也不是一次輸出完整長任務就不再觀察。LIBERO 每次執行一段預測動作，RoboCasa 則只執行較長預測片段的前半，再根據新觀察繼續。
成功率因此包含這種反覆更新的流程，不能和單次開迴路控制直接相比。開迴路指的是按預先規劃的動作持續執行，中途不再根據新觀察修正。
兩種模擬器的任務成功條件也不相同，研究按各自允許的動作數和目標判定結果。因此，即使都是成功率，也不適合跨模擬器把數字直接排序，認定某種環境裡的控制一定比較可靠。
要在別的機器人重現結果，還需要取得相同訓練與評測材料。
現有公開程式和權重，還缺哪些部分？
截至二〇二六年十月二十六日查詢，環境設定與資料準備已公開，主要訓練、評測、解碼器和預訓練權重仍列為稍後提供。模型權重是訓練完成後的參數檔，缺少它就不能直接載入作者的完成版本。
官方 README 已列出模擬器、資料路徑和部分下載腳本，但這些是準備工作。使用者把環境建好，並不代表尚未釋出的訓練與規劃入口也能執行。
資料準備也有未完成的部分。官方尚待提供一般影片的變化描述，現有腳本可以自行呼叫視覺模型的 API 重建。API 是程式交換要求與結果的介面，這也表示準備資料可能另外使用外部模型資源。
授權也尚未完整定案。程式庫寫明會隨正式程式發布公布，部分依賴又有自己的條件，因此不能把可見的準備腳本當成整套成果已可任意商用。
研究團隊可以先檢查資料如何轉成動作文字，確認自己的觀察、方向與單位能否符合這種介面。等完整成果釋出後，再核對模型是否真的能在相同條件下重現規劃與政策結果。
延伸閱讀：Dream-1 是什麼？機器人世界動作模型 API 每小時 3 美元，零樣本成績怎麼讀
延伸閱讀：Cosmos3-H-Embodied-Nano 開放手術機器人研究模型：同時預測動作與影片，二點四秒能說明什麼？
LaLa-World 常見問題
LaLa-World 現在有完整權重可以下載嗎？
截至二〇二六年十月二十六日查詢，官方仍將世界模型、政策模型權重及主要訓練評測程式列為稍後公開。
13.9 倍代表每種規劃都一樣快嗎？
倍率對應指定 H100 設定下，和五步去噪 RAEv2 的平均每軌跡規劃時間。換成一步對照，倍率也不同。
LaLa-Policy 的成績來自真機嗎？
本文所述 LIBERO 與 RoboCasa 成績來自模擬器，不能直接推定真機可靠度。
