RynnVLA-Latent 用 3 萬小時影片預訓練機器人：潛在動作為何還不能直接控制？
RynnVLA-Latent 以人類、機器人與模擬影片學習三維潛在動作，產生 7.4552 億筆描述。解析資料規模、兩階段訓練、真機測試與目前 Stage 1 權重的控制限制。
人示範拿杯子，機器人看得懂畫面，卻不一定知道各個關節該轉多少。不同機器人的手臂與控制格式又不同，影片多了，也不等於可直接拿來教每一台機器。
RynnVLA-Latent 嘗試先學一種共同的動作表示：從前後畫面推測發生了什麼移動，再把這種訊號用來預訓練會看影像與讀指令的機器人模型。
阿里巴巴達摩院等研究者在 2026 年 10 月 25 日提交這篇研究，使用約 3.01 萬小時的人類、機器人與模擬影片，產生 7.4552 億筆潛在動作描述。
潛在動作是模型學出的中間表示，並非特定機器人可直接執行的關節指令。研究還有第二階段，必須接上目標機器人的真實動作資料，才能形成控制策略。
官方公開的 2B 與 4B 工件目前是第一階段預訓練權重，也就是模型參數檔。論文列出的模擬與真機成績，則來自完成後續適配的策略，不能讓兩者看起來是同一個可直接操作的下載檔。
這次開放的價值，是讓研究者從共同表示開始接續訓練，減少每種機器人都從零學視覺動作的負擔。它沒有省掉目標機器人的適配。關鍵仍是影片裡的移動，如何變成可共用的教材。
RynnVLA-Latent 怎麼把不同機器人的影片變成動作教材？
RynnVLA-Latent 先把不同來源影片的視覺變化轉成共同的潛在描述，讓預訓練不必依賴每段影片的原生控制指令。
這也回應了一個資料問題。人類拿杯子的影片很多，卻沒有機器人關節命令。另一台機器人即使留下控制紀錄，它的軸數、夾爪和座標也可能不同。把所有原生數值直接放在一起，並不會自動形成同一種動作語言。
因此潛在描述先問畫面中發生了什麼變化。研究用名為 RynnLAM 的模型，將前後影像中的移動壓成共同表示，再用這些表示替更多影片提供訓練訊號。這個中間步驟讓沒有原生動作標籤的內容，也能參與預訓練。
「潛在」的意思是由模型學出的內部表示，不是給人看的操作說明。某段表示能區分向前拿取和向後收手，不代表其中每一個數值已對應某台手臂的角度、力道或馬達設定。
原始論文將這種表示當成跨來源的共同教材。學習者先練習從觀察與語言預測接下來的移動，再在後續階段適應特定身體。所以它和直接下載一份已會控制所有機器人的策略不同。
相較於另一篇 RynnUnify，這次研究有不同工件和任務。RynnVLA-Latent 著重共同潛在動作與策略預訓練，不能把另一套模型的規模、影片規劃方式或執行節奏搬進來，當作本次權重已具備的能力。
不過畫面變動可能來自相機，下一步便是把攝影機移動和物體動作盡量拆開。
三維訊號如何避免把運鏡誤當機器人動作？
RynnLAM 將未來特徵、相機補償的三維移動與相機訊號分開學習，降低共同動作表示對視角的依賴。
如果相機向左移，畫面中的杯子可能向右滑動，但杯子本身其實沒有移動。只模仿平面影像差異，模型就可能把運鏡當成動作。研究因此加入三維移動線索，嘗試扣除相機變化後再理解物體和操作的關係。
這裡的三維移動可以理解為不同空間點如何隨時間改變位置。相機補償先處理觀察者的移動，讓剩下訊號較接近場景與操作本身。其他訓練目標則協助保留未來變化，而非只記住起始外觀。
完整描述由三部分組成：512 維動作相關特徵、64 維整體動作表示，以及 32 維相機表示，合計 608 維。也就是說，這些維度是模型中間數值的長度，不能當成機器人的關節數，也不是每段操作要執行 608 次指令。
尤其要注意，相機解耦主要針對整體動作分支。完整描述仍明確包含相機資訊。因此不能把整個 608 維向量都叫作完全不受相機影響的動作碼，更不能保證換到任何鏡頭位置都不會改變結果。
為了讓移動表徵不只記住相鄰影格的外觀，方法還會比較對應位置的特徵，並用相機姿態相關訊號約束學習。這些輔助目標是訓練時塑造表示的方法，不能解讀成使用者在每次控制手臂時，都會收到一份人工可讀的三維動作解釋。
研究在表示評估中看到部分優勢，但不同模型和不同表示的比較方式也有差別。它支持的是這種設計在列出條件中的潛力，不是證明每一項資料、每一種探測方式都一定勝過所有既有影像編碼器。
這些表示仍只是訓練標記，必須接上兩階段策略學習，才會變成特定機器人的可執行指令。
第一階段預訓練和第二階段控制各學什麼？
第一階段預測潛在動作片段，第二階段再以目標機器人的原生動作與本體狀態進行微調。
第一階段把影像和指令交給能理解視覺與語言的骨幹模型，再與較小的動作專家共同處理，學習一段未來潛在動作。骨幹是提供主要表示能力的模型部分，動作專家則負責配合它產生動作相關輸出。
因為先學的是共同表示，這個階段不要求每段來源影片都有原生控制命令，也不使用該機器人各關節的即時狀態作同樣形式的必要標籤。它的優點是能吃進更多異質影片，代價則是輸出還停留在共同表示，而非目標機器的控制空間。
因此第二階段才加入目標機器人的動作與本體狀態。本體狀態是機器人對自己位置和關節等資訊的紀錄，與外部相機看到什麼不同。模型透過微調，學會把相同觀察接到這個身體真正能執行的動作。
研究沒有另放一個完全獨立的潛在動作解碼器，將每次預測簡單翻譯後就結束。骨幹與動作專家也參與第二階段調整。這表示第一階段是有價值的起點，卻不是唯一必備的轉接工作。
不同來源也可能有不同相機數量。模型預留六個視角位置，缺少的視角以遮罩標示，避免把不存在的畫面當成正常輸入。這讓資料格式較能共用，卻不等於已證明任意新增鏡頭或未見角度都不需要重新適配。
完成適配的策略會產生一段原生動作，執行整段後再重新規劃。所以這種執行節奏也屬於測試配置。它不等於每一個時刻都重新觀察和修正，不能沿用其他具身模型的片段長度或即時反應宣稱。
知道輸出類型不同後，才能正確看待影片時數、描述數與策略訓練樣本之間的關係。
延伸閱讀：RynnUnify 開放具身模型：邊想邊預測影片，真機成功率 46.7% 怎麼讀？
3.01 萬小時、7.4552 億描述與模型大小怎麼讀？
影片時數、潛在描述數與切成策略樣本的數量各算不同單位，不能把它們都當成獨立機器人示範。
例如資料來自 25 組資料集，共 30,117.68 小時，其中人類影片約 11,939.53 小時、真實機器人約 12,038.97 小時，模擬內容約 6,139.18 小時。人類與機器人各占接近四成，模擬約占兩成，來源並不是單一身體。
同一影片可以在不同時間點形成多組前後畫面，再產生動作描述。團隊依此建立 745.52 百萬筆潛在描述，也就是約 7.4552 億筆。這些不是同樣數量彼此獨立的完整示範，更不能當成 7 億次真機試驗。
切成策略預訓練片段後，索引數又是約 1.2106 億筆。描述與片段不同，是因為一個策略樣本會包含一段動作脈絡。若把影片、描述和樣本都寫成「資料筆數」，讀者就無法看出資料如何被重用與組織。
因為骨幹之外還有動作專家，模型大小也有命名範圍。官方的 2B、4B 是骨幹版本名稱，合併動作專家後，論文列出的總參數約為 25.1 億與 50.4 億。不能因為名稱寫 4B，就把完整策略的計算與記憶體需求一律按 40 億參數估算。
因此，這些規模數字說明方法如何擴大教材與模型，但本身沒有回答動作是否正確。更大量的影片也可能有遮擋、不同拍攝方式和不相容情境，仍需透過後續適配和固定測試確認學到的表示是否真的有用。
資料規模本身不是成功率，實際能力仍要回到完成第二階段的模型與指定測試。
模擬與真機成績，支持哪一種能力結論？
論文的 LIBERO 與真機結果評估已適配的策略，能說明這套預訓練方式的潛力，但不能代替未適配權重的控制能力。
在模擬評測，4B 骨幹版本的 LIBERO 成功率為 98.8%，LIBERO-Plus 為 84.7%。後者使用已在 LIBERO 微調的模型，沒有針對 Plus 再適配。「未針對這組評測適配」不等於完全沒有機器人動作訓練。
VLABench 的五個分項平均成功率為 51.9%，另有進度與意圖相關指標。三種數字回答不同問題：整個任務成功、完成部分步驟與符合意圖，不能互換成同一個總成功率，也不宜只挑較高的那一個。
雙臂 RoboTwin 2.0 的乾淨設定為 88.7%，隨機化設定為 88.4%，平均約 88.6%。這顯示研究在列出的環境條件中有接近表現，卻不是所有相機、物件或身體都完成相同範圍的隨機化測試。
真機部分則在兩種平台安排六個操作任務，每個任務各試 35 次。4B 版本的成功率從 40% 到 85.71% 不等。小分母讓單次成敗就能改變百分比，也提醒讀者不能只用最高一題描述整個系統。
論文的真機結果不是推論速度測試，亦沒有由這幾個任務證明長期無人值守能力。較合理的結論是，共同潛在動作預訓練值得用於後續策略學習，而不是機器人已能靠觀看影片普遍掌握所有操作。
各場景和試驗次數限制了結論，下載前還得確認公開工件究竟停在哪個訓練階段。
目前下載的是什麼，為何還不能直接接上機器人？
截至 2026 年 10 月 27 日，官方釋出的 Stage 1 權重輸出潛在動作，程式庫明確要求先完成 Stage 2 才能用於原生控制。
官方程式庫特別區分預訓練匯出檔與閉環控制策略，也就是能反覆觀察環境並實際控制機器人的完整策略。因此公開第一階段，並沒有把後續所有機器人適配成果一併變成隨插即用檔案。
程式庫提供的範例資料亦不等於全部上游資料。它包含合成示例，原始模擬環境仍要依各自專案取得。研究用過某個資料集，不能推論該資料集已隨程式附上，或讀者因此自動取得所有使用權。
程式採 Apache 2.0，也不會覆蓋不同影片、場景和第三方工件的個別條款。對想延伸研究的人，重要的是把預訓練起點、目標身體資料和評估環境接好。對只想立即控制硬體的人，則仍有不可略過的工作。
因此這次開放最適合當預訓練起點。目標機器人的資料、模擬環境與實機驗證，仍是後續必要工作。
延伸閱讀：LaLa-World 用文字統一機器人動作：規劃快 13.9 倍，為什麼不需要先畫出未來？
常見問題 FAQ
RynnVLA-Latent 公開的 4B 權重可以直接控制機器人嗎？
截至 2026 年 10 月 27 日，官方公開的是 Stage 1 潛在動作預訓練工件。要形成原生控制策略，仍需完成目標機器人的 Stage 2 適配。
7.4552 億筆描述代表同樣多段示範嗎？
不是。同一段影片可在不同時間點產生多個描述。影片時數、潛在描述和策略訓練片段是不同計量單位。
