RynnUnify 開放具身模型：邊想邊預測影片，真機成功率 46.7% 怎麼讀？
RynnUnify 將場景理解、影片規劃與機器人動作接在同一研究系統。解析 16B 架構、額外代理、54.80 規劃分數、三項真機任務與已公開權重，分清生成影片與實際控制。
機器人要把桌上的物品依序收好，得記得前面搬過什麼，也要估計下一步會改變哪個位置。RynnUnify 嘗試把場景理解與影片預測接在一起。
阿里巴巴達摩院團隊在二〇二六年十月二十三日提交論文，讓模型交替提出子任務並生成預測片段，再用片段結果規劃下一步。十月二十七日查詢的公開權重也已有可讀模型卡。
這套基礎模型約有一百六十億參數，分成理解與影片生成兩部分。團隊另加入會選擇何時看預測影片的代理，並另外訓練把預測接成機器人動作的版本。
官方報告的真機平均成功率是 46.7%，來自三項任務、各二十次試驗。這個數字能支持特定操作的研究比較，還不能代表一台通用機器人的日常可靠度。
我的判斷是，這次值得研究的是「先看懂、再預測、再選動作」如何接起來。選用時仍要分清基礎模型、額外代理與動作版本，不能只下載一份權重就假設全部能力都具備。
先從一個子任務如何變成下一段影片開始，才看得清楚記憶與動作各自接在哪裡。
RynnUnify 如何交替推理與預測影片？
基礎架構把約八十億參數的理解分支與約八十億參數的影片分支接起來，前者提出下一個子任務、場景變化與時長，後者產生視覺預測。參數是模型訓練後用來處理資訊的內部數值，數量描述規模，不直接等於成功率。
依 RynnUnify 論文，系統承接 Cosmos3 的混合架構，讓兩個分支透過共同注意力交換資訊。注意力在這裡負責選擇當下應參考的內容，讓文字計畫能和生成畫面對上。
理解分支先把長目標拆成下一個子任務，再寫出預期畫面與持續時間。因為影片分支依這些條件生成預測，所以最後一張畫面能接回理解分支，成為判斷下一步的觀察。
這個流程沒有先把整段未來一次寫死。例如規劃收拾桌面時，先預測一件物品移動後的位置，再依那個畫面考慮後續動作，比一開始假設所有物件都會照原計畫移動，更容易維持步驟之間的關係。
但生成畫面仍是模型的預測。它可能把物品變形、忘記遮住的東西，或產生看似合理卻不符合物理的移動。因此規劃影片能提供資訊，不代表畫面中的工作已經在真實環境完成。
這套設計讓預測誤差可能累積：某段尾幀如果把杯子位置畫錯，下一次規劃就會以錯誤場景起步。後續記憶與訓練的目的，正是減少這種片段相接時的偏移，而不是假設每張預測都等同實際觀察。
訓練也分階段進行。團隊先調整理解分支，再在訓練影片分支時固定前者。不是每一步都同時重新訓練整套模型，讀者需要把兩部分各自學什麼分開看。
論文整理的影片資料約一百零八萬段、約一千三百七十小時，這是資料片段與時長的統計，沒有把重複訓練曝光再算成新影片。資料量支持訓練範圍的說明，仍不能代替真機結果。
一段預測成為下一次規劃的輸入後，前面離開畫面的物件就需要有路徑被記住。
四張場景參考與前段尾巴，為何要一起保留？
跨片段記憶同時保留稀疏場景參考和近期連續動作，分別維持物件外觀位置與操作銜接。只看上一段最後一張畫面，可能知道手停在哪裡，卻忘了早先放到側邊的杯子。
為了讓離開視野的物品仍可被定位，研究保留四張參考畫面：初始場景固定一張、兩張歷史參考，再加一張近期參考。它們各自編碼，讓系統能同時查到不同時間的場景線索，並不是把四張圖片都當成連續影片中的相鄰影格。
這種設計替物件留下一條回查路徑。因為鏡頭轉開後，最近畫面可能已看不到某件東西，所以需要初始或歷史參考保留外觀與位置，降低每一段都重新猜場景的壓力。
連續動作則需要另一種資訊，因為稀疏參考沒有保留每一步怎麼移動。系統因此接續前一片段的近期影格，讓方向與姿勢延續到新片段，交界只計算一次，避免重複拼接。
兩種記憶用途不同，因此不能只說「模型記住四張圖」就解釋全部連續性。稀疏參考提供跨時間的場景定位，連續尾段保留動作怎麼走到此刻，少了任一部分都可能在不同地方失敗。
團隊也在訓練中使用退化條件與離線生成的歷史，讓影片分支適應自己可能產生的不完美輸入。未來真實片段仍提供監督，所以這不等於模型不斷自行產生資料、無限自我訓練。
記住場景仍不代表每個問題都值得先生成影片，因此團隊又訓練一個選擇路徑的代理。
額外代理何時看影片，與基礎模型有何不同？
額外八十億參數代理學習直接回答或呼叫固定的影片系統，基礎理解評測則不使用這個額外代理。這個區別會影響下載內容、推論成本與數字該歸給哪一個元件。
有些問題從眼前畫面就能回答，先生成影片反而多花時間。另一些需要估計物體互動與後續狀態，視覺預測可能補上直接文字推理不足的線索。額外代理學的是在兩條路之間選擇。
團隊用每題四條直接回答軌跡和四條透過生成的軌跡，訓練這項選擇能力。軌跡指從輸入到回答的一串中間步驟，讓模型比較不同路徑能否得到較好的結果。
這種訓練也保留直接作答的路徑，讓額外代理有機會學到何時不該花影片成本。若只比較最終答案而沒有記錄它走哪條路，研究者就難以分辨進步來自較好的文字推理，還是生成確實提供了有用證據。
因為要學的是路徑選擇，這個階段更新的是額外代理，影片系統保持不變。它和前面基礎架構內的理解分支不同，所以不能把兩個分支加起來的約一百六十億參數，說成已包含額外代理的總規模。
在 Rynn-GEU 題組，直接回答的平均分為四十四，加入代理路徑後為五十。另一組三項公開評測的平均則從 41.3 到 44.6，兩組題目的組成不同，不能把它們視為同一張表的前後數字。
這些結果支持代理在指定題目裡能從工具使用得到幫助，卻不表示每次都應生成影片。若部署方式強迫所有問題先走生成，就改變了研究原本學習選擇路徑的條件。
影片是否有幫助，要分別看理解答案與長程視覺規劃的指定評測。
54.80 規劃分與 57.9 理解分，各能說明什麼？
兩個分數來自不同題組和計算方式，前者也沒有超過所有被比較的組合系統。理解分看回答，規劃分看生成片段如何執行目標，兩者沒有共同的正確率分母。
由於這項比較要測基礎理解，表裡只使用理解分支，將十項指標正規化到零至一百分，再不加權平均。RynnUnify 的 57.9 高於 Cosmos 的 53.2，但這不是說所有題目中恰好有 57.9% 答對。
長程規劃使用 Rynn-VP 的兩百個案例，最多十五個步驟，以四百八十像素級畫面和每秒二十四影格評估生成。這個影格設定描述輸出影片，並不代表模型即時生成速度或機器人控制頻率。
規劃總分把計畫指令遵循、視覺推理與畫面品質分別乘以五成、四成、一成。RynnUnify 得 54.80，Cosmos 得 45.05。GPT-5.6 Terra 搭配 MiniMax H3 的組合則有 65.71，更高於前兩者。
畫面品質本身也不是每項都領先。該項 RynnUnify 為 77.53，Cosmos 為 79.69，總分進步主要要連同其他組成解讀。若只截總分當成所有視覺品質更好，會掩蓋這個差別。
因此，想研究統一架構的團隊，可以從它相對單一系統的規劃進步看起。若目標是最高規劃表現，仍須把組合系統的結果與成本放回比較，不能只挑有利的一列。
能生成較好的規劃影片之後，控制機器人仍需要另一段動作訓練與實際試驗。
51.5% 模擬與 46.7% 真機，為何不能混成一個成功率？
世界動作版本分別在選定模擬任務與三項真機操作測試，完整任務成功和單步完成各有不同分母。這個版本另外加入動作學習，和只輸出規劃影片的基礎模型並不相同。
模擬適配使用 RoboCasa 約一千六百小時原子工作、約一百七十七小時組合工作。原子工作是一個較短的基本操作，組合工作則把多段操作接起來，用來學習如何把預測落成控制。
在選定的二十項模擬任務，每項十次、共兩百次試驗中，世界動作版本成功率為 51.5%。完整評測的已見任務為 52%、未見任務為 50%，這些設定要和單獨選出的二十項分開。
動作端一次預測四十八步、每步十二個動作維度，實際只執行前十六步，再取得新觀察。維度描述同一步要控制的數值，和四十八次連續決策不同，不能相乘成獨立成功動作數。
這種只執行前段的方式，讓後續動作有機會依環境改變調整。預測後段可以提供規劃空間，卻不表示它們都在不看新畫面的情況下執行，也不能拿完整預測長度推算連續可靠操作時間。
真機使用 Astribot S1，測轉身抓取、方塊交換，以及連續放碗再處理湯匙三項任務。每項二十次，完成率分別為 55%、35% 與 50%，等權平均後得到 46.7%。
論文也列各階段成功率，但階段可獨立計算，沒有要求先前階段都成功。因此某一步分數高，不能代替整串任務完成。連續操作只要中途失敗，完整任務仍可能不成立。
三項工作顯示這套設計能接到真實機器人，也保留大量未完成案例。研究表現要落到自己的環境，最後還得選對公開元件與相容的軟硬體。
公開權重與程式，適合從哪一部分開始研究？
公開模型庫列出基礎、額外推理代理與 RoboCasa 動作版本，但不同元件的用途與使用條件需要分別核對。模型權重是可下載部署的訓練參數，不等於一個包含所有硬體介面的成品助手。
截至二〇二六年十月二十七日，官方程式庫已列出這些路徑，基礎模型卡也可讀。論文十月二十三日提交，今天查到模型可取得，並不能據此把今天寫成首次權重發布日。
基礎模型卡標示 Apache 2.0，官方程式與文件也有對應條款，但既有資料來源和其他元件需要各自核對。下載基礎模型，不會自動取得全部訓練資料、額外代理或真機設定。
如果想看畫面理解，先使用理解分支的評測。如果關心多步預測，才接影片生成。若要控制實體機器，還得處理動作版本和自己的感測、執行設備。這樣才能把失敗原因對到相應元件。
我會先選與自身目標相同的一項任務，確認輸入條件與評分方式，再比較直接回答和影片輔助的差異。先重現一個理解、規劃或動作流程，才有依據判斷是否擴展到整套系統。
延伸閱讀：LaLa-World 用文字統一機器人動作：規劃快 13.9 倍，為什麼不需要先畫出未來？
延伸閱讀：Cosmos3-H-Embodied-Nano 開放手術機器人研究模型：同時預測動作與影片，二點四秒能說明什麼？
常見問題
RynnUnify 的 46.7% 能代表日常家用可靠度嗎？
不能。它是三項 Astribot S1 真機任務、各二十次試驗的平均完成率，沒有涵蓋所有家庭場景與長期運作。
16B 基礎模型是否已包含額外代理？
額外約 8B 代理是另一個元件，用來選擇直接回答或呼叫影片系統。基礎理解成績沒有使用這個額外代理。
