Verne V0.5 開放世界動作模型，影片學習如何接上工業機器人的即時控制？

Verne V0.5 把影片模型對場景變化的學習，接到工業機器人的抓取與組裝。團隊在二〇二六年十一月四日發布新模型，同時介紹微調平台與部署服務。

讀者需要先分清開放權重與完整機器人系統。模型權重，指的是訓練後保存的核心數值，也是自行載入模型的重要材料。模型能產生動作，實際工作仍需要高階規劃、動作接續與即時控制，各部分會共同影響展示效果。

團隊使用超過一百七十萬段示範預訓練，再以工作現場資料調整特定任務。這讓資料規模與少量示範適應，成為兩個不同階段的問題。

V0.5 在訓練時同時學影像與動作，實際運行則直接產生動作，省去生成未來影片的步驟。視覺學習因此成為能力來源，控制速度則由運行流程決定。

有真機、資料與工程能力的團隊，適合研究這種分工。我會先看模型與控制器如何接合，再用自己的操作驗證，判斷它能省下哪一段開發工作。

從一項工作如何被拆成不同時間尺度看起，就容易理解模型之外還需要哪些系統。

Verne V0.5 如何把工作目標拆成動作？

高階規劃先把完整任務切成短指令，再由動作模型執行。這讓「準備一份套件」可以轉成放入不同物品、固定袋子與拉上拉鍊等具體步驟。

高階部分使用現成視覺語言模型，讀取目標、相機畫面與記憶等資訊，再決定下一個指令。視覺語言模型能一起處理畫面與文字，因此適合協助辨認目前進度。

V0.5 接收的是較短的操作要求，例如拿起某個物品。它把看到的環境與機器人狀態轉成動作片段，讓規劃層可以專注順序與目標。

官方展示也包含錯誤恢復。如果物品掉落，高階部分能從畫面發現，重新要求拿起，再接回原本流程。這種能力需要持續觀察，才知道前一步是否真的完成。

因此，高階規劃和動作模型之間需要交換進度。若上層只發出一串指令卻沒有確認結果，後面的步驟就可能建立在錯誤狀態上。

對工業流程而言，這個介面會影響新任務怎麼建立。若新工作能拆成模型已學會的操作，上層可以改變目標與組合；若需要新的接觸動作，仍得補上相應資料。

因此，這也讓任務定義變得具體。團隊需要知道每個短指令何時算完成，以及失敗時要重試、改變動作，或交給人員處理，才能把示範接到持續工作。

短指令要轉成穩定動作，模型先得從資料學會物體如何隨操作改變。這是影片與動作共同訓練要處理的部分。

影片與動作共同訓練，運行時如何省下步驟？

視覺預測在訓練期間提供訊號，實際推論專注產生動作。Verne 把 V0.5 稱為世界動作模型，因為它同時學習場景接下來如何變化，以及機器人該怎麼動。

團隊從 Wan2.2 影片模型開始，再讓影片與動作兩個部分共同訓練。它們交換資訊，將對畫面變化的理解，連到能造成那些變化的操作。

但一般影片裡的景象，和機器人相機看到的操作有差異。視角、物體接觸與動作速度都可能不同，因此還需要用機器人資料調整視覺模型。

官方把訓練拆成三段。先用機器人影片適應場景，再以觀察與動作配對共同學習，最後用特定任務資料後訓練，讓模型更符合部署需求。

因此，這三段各自縮小不同落差。第一段處理看見的環境，第二段建立畫面與操作的關係，第三段則對齊要交付的工作，彼此有明確的先後依賴。

實際運行時，V0.5 只產生動作，不先生成未來影片。因為影片預測已作為訓練訊號，推論流程便能把資源留給即時操作。

這種設計也影響評估方法。訓練時能預測合理畫面，仍需要在實際設備上確認動作是否到位，因為控制誤差與接觸變化會進入下一次觀察。

因此，世界模型的能力要和動作執行一起驗證。對採用者而言，最直接的問題是機器人能否在自己的場景連續完成工作，而不只是預測結果看起來合理。

這種能力建立在大量前期資料上，新任務再用自己的資料調整。兩種資料規模需要分開閱讀。

一百七十萬段示範與兩小時調整如何分工？

預訓練與特定任務後訓練處理不同範圍的能力。官方的一百七十萬段以上示範，來自資料供應商、開放資料集與團隊自行採集。

預訓練資料主要涵蓋遠端操作與手持夾爪形式，提供大量觀察和動作對照。後續部署到自家機器人時，團隊則使用自己的資料進行任務調整。

資料品質也會影響學到的關係。Verne 檢查每段錄製的時間、動作品質，以及指令是否符合實際動作，避免把錯位的觀察與命令當成訓練目標。

例如，相機時間和動作時間不同步，模型可能把某個畫面接到不對的控制結果。這類誤差會讓訓練資料看似完整，實際卻教會錯誤的因果關係。

官方提到部分任務或步驟可用少於兩小時的示範與修正資料完成調整。這描述的是已有預訓練基礎後的資料需求，實際效果仍依任務與後訓練流程而變。

研究者也比較預訓練資料比例。當資料由約百分之二十九增加到全部，未另微調的 RoboTwin 2.0 成功比例由百分之二十三提高到五十一。

這是同一研究中的模擬結果，每個檢查點約測一千段情節，包含乾淨與隨機場景。它支持資料規模與表現的關係，之後擴充到不同工作仍需重新測量。

對收集現場資料的團隊，這些結果提示一個順序。先確認示範的時間與標註品質，再觀察增加資料是否改善特定失敗，較容易知道下一筆採集預算應花在哪裡。

資料學到的動作仍要按時執行，才不會在真機上累積位置偏差。這把問題帶到獨立控制器。

三十赫茲模型如何接上五百赫茲控制器？

模型預先提供動作片段，獨立控制器持續追蹤機械目標。赫茲表示每秒更新次數，V0.5 的三十赫茲目標，和控制器的五百赫茲運行頻率因此各有用途。

模型產生夾爪姿態等目標，執行層再轉成定時軌跡，控制器把軌跡轉成馬達命令。這讓不同層能依自己的時間尺度工作。

若每次等模型算完才動，機器人容易在片段交界停頓。官方使用即時動作片段接續，先保留已排定要執行的目標，再讓模型規劃後面的部分。

因此，新的片段接上舊片段時，會以已承諾的動作作為起點。這能減少突然跳轉，也避免把兩個不同計畫簡單平均，產生兩邊原本都沒打算做的動作。

控制器則是獨立的 C++ 程式，運行在即時 Linux 環境。它持續追蹤目標，將模型推論與網路等待隔離在馬達控制之外，降低時間抖動進入機械動作的機會。

官方用相同 V0.5 策略，比較原有 YAM 控制器與自家控制器。每組二十次 LEGO 操作中，新的控制器呈現較低追蹤誤差與較短延遲。

這個比較顯示，模型相同時，控制端也會改變結果。若只把真機展示全部歸因於模型權重，就會漏掉軌跡處理與機械控制的貢獻。

對整合團隊，時間同步因此和資料同步同樣重要。相機、目標佇列與馬達回報要對上同一條時間線，後續才容易判斷失敗是感知、規劃或執行造成。

控制端的差異會改變展示效果，榜單也需要連同實驗條件看。模型能力與整套系統能力，各有應該保留的證據。

這也讓現場後訓練需要形成循環。先在機器人上評估，找出出錯的步驟，再補入示範、人類修正或其他後訓練資料，才能把下一輪調整對準實際問題。

如果只記錄「工作失敗」，還不容易知道該補什麼資料。例如，物體已辨認正確卻抓不穩，和上層選錯物品，涉及不同能力，因此需要連同畫面、指令與動作時間一起回看。

修正完成後，也應保留原本已通過的任務。因為新資料可能改變其他行為，同時重跑舊測試，有助於確認改善是否只發生在新增情境，或影響整體穩定性。

對工業整合者而言，這種循環讓資料需求更容易估算。先依失敗類型採集，再用同一任務檢查變化，會比只追求累積更多示範，更接近現場需要的可靠度。

模擬榜單與工業展示各自說明什麼？

公開評測方便對照，真機展示則揭示控制與場景需求。Verne 在 LIBERO 與 RoboTwin 2.0 公布結果，讓研究者能依相同名稱的測試追查方法。

官方領先描述有限定範圍，指當時由美國公司開發的開放權重模型。它沒有涵蓋全球所有模型，閱讀時也應保留榜單日期與版本。

例如，LIBERO 表格的 V0.5 為百分之九十九點三，另一模型 ABot 為百分之九十九點四。這讓領先範圍的條件更重要，因為完整表格包含不同來源的比較。

RoboTwin 2.0 的乾淨與隨機場景也各自計分。環境變化會影響表現，因此引用模擬成績時，應保留使用哪種場景與是否微調。

真機部分則展示九種操作，包括套件組裝、接觸豐富的桌面任務與全身移動。影片能讓研究者觀察動作接續與錯誤恢復，但各片的成功分母仍需另外取得。

因此，模擬成績與真機影片可以相互補充。前者協助篩選候選方法，後者幫忙理解整合要求，最後仍要由自己的設備與任務建立可重複測試。

官方同步提供程式與模型入口，微調平台與部署服務則有各自範圍。下載前應逐項確認權重版本、支援機構與授權，才能知道哪些部分可直接使用。

建議先把一項現有操作完整重現，保留示範、控制設定與失敗片段。這會讓後續增加資料或修改控制器時，更容易觀察哪一段真正改善。

Verne V0.5 常見問題

執行時會一邊生成未來影片嗎？

官方設計在訓練期間共同學影片與動作，運行時直接輸出動作。未來影片提供學習訊號，控制流程則專注實際操作。

兩小時就能訓練完整模型嗎？

少於兩小時對應部分任務或步驟的示範與修正資料。完整模型已使用大量資料預訓練，現場後訓練另需依任務與設備安排。

取得權重就能直接裝到任何機器人嗎？

機構介面、觀察資料、夾爪命令與控制時間都需要相容。可以先核對官方程式支援，再用自己的系統測試一項明確任務，逐步確認整合範圍。

從單一任務保留完整紀錄，再擴大到連續工作，較容易把模型、資料與控制的改善分開。這也是評估工業部署成本的實際起點。

延伸閱讀：RynnUnify 開放具身模型：邊想邊預測影片，真機成功率 46.7% 怎麼讀？

延伸閱讀：UMI-Live 開源雙手資料採集系統：按下錄影之後，40 小時資料如何教機器人？

原始資料來源

• Verne V0.5 官方研究介紹
• Verne V0.5 官方程式儲存庫
• Verne 官方發布貼文