ScheduleGen 用排程生成雙臂示範:資料生成 79.6%,和真機完成 50–80% 差在哪?

ScheduleGen把技能轉移、動作規畫與多手臂排程合成訓練資料。拆解79.6%資料生成、65.5%策略模擬與八個真機變體50–80%,看懂各種成功率。

Share
ScheduleGen流程圖,五段真實示範經技能轉移、動作規畫與排程後產生模擬資料並部署真機
ScheduleGen 論文首圖示意來源示範如何經規畫與排程,變成訓練資料再回到真機。 圖片來源:官方原文。

ScheduleGen 把多手臂機器人的資料生成,當成「路徑怎麼走」和「何時輪到哪隻手」的排程一起求解的問題。原作者在 2026 年 10 月 30 日介紹研究,希望用少數示範產生更多能訓練的協同動作。

兩隻手各自會抓物,不代表一起動時就不會相撞。當一隻手要跨過另一隻手的工作區,成功示範裡的先後、等待與接觸動作都會影響結果。

ScheduleGen 保留示範中的接觸技巧,重新規畫連接動作,再替各隻手安排時間。只有在模擬中實際完成的軌跡,才被留下作為訓練資料。

官方 28 個模擬變體的平均資料生成成功率為 79.6%,用資料訓練的策略則為 65.5%。真機另外評估八個變體,結果落在 50–80%,這三組數字不能當成同一種成功率。

我認為它適合已有硬體與來源技能、想降低多手臂資料收集負擔的團隊研究。它並未省掉場景幾何與約束準備,也沒有證明任意家務都能只靠幾段示範解決。

理解資料生成和真機結果的距離,得先看排程究竟把哪種協調問題解開。

ScheduleGen 把接觸技巧留下,重新安排轉場與時間

示範裡真正接觸物品的片段可以保留,但不同場景中的移動與雙手先後必須重新求解。原作者專案將技能轉移、動作規畫和排程接成同一個排程生成器,而非各自產生軌跡後再硬湊在一起。

接觸片段保留的是手與物品的相對動作。例如碗換了位置,示範中如何接近碗、拿住或堆疊的關係仍可轉移,但手臂從原本位置到新碗的路線可能完全不同。

這段轉場要考慮關節可行範圍與碰撞。即使單手路徑都能完成,兩隻手若同時經過相同空間,仍需要等待或調整先後,才能把各自可行變成共同可行。

排程不是讓所有手臂一起動

系統用帶整數選擇的最佳化方法,安排哪些動作先做、哪些可以重疊,以及什麼時候必須同步。白話來說,它不只問每隻手能走哪裡,也問哪一段可以和另一隻手同時進行。

例如一手固定物品、另一手進行接觸操作,等待可能是必要步驟。如果只為了增加同時動作比例,就可能破壞操作關係,所以排程要同時遵守任務依賴與碰撞限制。

方法先解每隻手的路徑,再安排共同時間,最後放回模擬執行。排程生成器必須看實際重播是否成功,不能只因為時間表看起來合理,就把它收進訓練集。

這也說明來源示範的角色。它提供可轉移的接觸技巧,排程生成器則把技巧放進不同初始條件與協調安排,擴大可訓練的變化,而非憑空發明所有操作技能。

排程也能表達「必須等另一隻手完成」這類關係,這和只讓路徑不要相撞不同。某個接觸動作即使空間上可通過,如果物品還沒被另一手固定,提前開始仍可能破壞任務。

反過來,兩段操作若沒有先後依賴、空間又不衝突,就可以安排重疊。這正是排程在此的作用:保留必要等待,刪除不必要等待,而不是用單一速度倍率把所有示範壓短。

因為流程還需要物體幾何、技能與先後限制,這項研究不等於只輸入「幫我收桌子」就能自動產生可靠控制。它處理的是已定義任務中的資料擴充問題。

這讓資料生成不再只是把兩隻手的軌跡各自搬到新位置,而是檢查它們能否共同完成。

ScheduleGen流程圖,五段真實示範經技能轉移、動作規畫與排程後產生模擬資料並部署真機
ScheduleGen 論文首圖示意來源示範如何經規畫與排程,變成訓練資料再回到真機。 圖片來源:官方原文。
ScheduleGen 原作者展示多手臂技能轉移、碰撞規畫及協同操作;專案註明總覽與任務影片以 3 倍速度播放。 來源:官方原文。

79.6% 是資料跑通,65.5% 才是所訓練策略的模擬表現

排程生成器接受一段成功軌跡,和模型在新一次測試自行成功,是兩個不同事件。原始論文將資料生成與策略評估分開,避免把合成示範可執行當成學習已完成。

策略就是把當前觀察轉成機器人動作的控制模型。排程生成器可以依場景資訊規畫整段示範,策略則要從收集到的示範學習,並在測試時自行應對觀察,兩者面對的工作不同。

研究跨 28 個模擬任務變體,平均資料生成成功率為 79.6%,訓練後策略平均成功率為 65.5%。前者回答生成嘗試裡能留下多少有效軌跡,後者回答學到的控制在評測中能完成多少次。

因此,兩個數字直接相減,不會得到「浪費了多少資料」。如果策略學得不好,可能要查資料覆蓋、學習方法或新初始條件,而不能只回頭要求排程生成器把每一段做得更像。

相同來源示範,能否處理交叉工作區?

團隊也比較既有多手臂資料生成方法,並保留來源示範一致。這個控制條件很重要,因為若一種方法額外取得大量好示範,就難以知道改善來自排程還是資料來源。

下面列出部分較難配置的策略成功率,每個策略評估五十個試次,順序固定為 ScheduleGen、調整過的 DexMimicGen 與原始 DexMimicGen。

模擬配置 ScheduleGen 調整版基準 原始基準
交叉雙臂堆碗 80% 42% 0%
交叉雙臂堆餐具 76% 58% 0%
交叉箱內堆方塊 70% 0% 0%

這些結果支持排程在共享空間與交叉動作的重要性,但不是每個配置都會得到相同增幅。比較應保留任務名稱,才能看出優勢出現在哪種協調負擔。

同一來源的比較也保留調整過的基準,讓讀者能看到既有方法經過適配後是否改善。若只拿未調整版本的零分當唯一對手,會遮住調整版已做到的部分,也不容易理解新增排程處理的難度。

原始方法在特定配置得到零,也只表示它在該次設定與評測裡沒有成功,不等於對方所有任務都無法執行。這樣保留範圍,才不會把研究對照變成通用產品勝負。

所以 79.6 與 65.5 應分開回答資料能否做出來、模型能否學到,而不是用一個相減值概括品質。

五段示範變五百段,還得檢查外部任務是否學會

RoboDojo 外部任務把方法放到不是作者自行設計的題目,檢查少量來源示範能否擴大。研究使用七個已公開任務,每題從五段來源示範出發,生成五百段通過條件的示範。

七題合計得到 3,500 段軌跡,這是被接受的生成資料量,不是受訓策略已在真機完成三千五百次。資料取得與最後能力的分母仍要分開保存。

每題訓練後的策略,另外在二十個保留的標準條件試次中測試。七個任務的策略成功率為 25–65%,表示擴增資料雖然可行,模型能否掌握仍有明顯差異。

為何資料生成率高,策略仍可能只做到一部分?

官方展示中,有任務的資料生成成功率可以達到百分之百,但該任務的策略測試成績並非百分之百。這不矛盾,因為規畫出可行示範,和讓模型由示範學會每次判斷,本來就多了一層學習問題。

對團隊來說,保留這兩層紀錄有助於找原因。若生成軌跡本身常失敗,要先檢查幾何與排程;如果軌跡能完成、策略卻不穩,後續重點就可能在訓練與資料分布。

不能只增加生成數量,便推論策略會按比例變好。每個來源技能涵蓋哪些動作、生成時隨機化哪些條件,都會影響模型實際看過的變化。

同時動作增加,不代表整段時間減半

在這批 3,500 段軌跡中,手臂同時動作比例從原示範的 15.5% 提高到 31.5%,平均軌跡縮短約 7.5%。這說明排程更會利用可重疊片段,但兩個指標並不相同。

同時動作比例提高約一倍,不能寫成整體產能翻倍。因為需要接觸、等待或同步的部分仍存在,整段長度的實際改善,要看另外量測的軌跡長度。

也不能把 7.5% 直接當成總成本節省。資料生成、模擬重播與訓練各有開銷,縮短執行軌跡只是整條管線裡的一個效果。

生成五百段不代表策略成功五百次,外部任務的成績仍留下明顯的學習差距。

延伸閱讀:FineART 開放機器人資料與模型:40,543段示範,子任務標註為何重要?

八個真機變體 50–80%,兩條轉移路線分開看

真機測試分成完全由模擬來源訓練,以及先用真實示範建立模擬資料再回真機。八個變體的策略都在模擬訓練,沒有另外用真實執行結果微調,但它們的來源並不完全相同。

第一條路線是模擬到真實,測雙臂堆碗與堆餐具,各有一般和交叉配置。四項結果為 75%、80%、80% 與 75%,平均 77.5%,每一項都評估二十次硬體試驗。

這支持模擬訓練的協調技巧能在這些指定任務轉移,但仍有未完成試次。平均值也只涵蓋這四項,不能拿來代表全部八項,更不能代替其他物品的真實測試。

有真實來源示範,也可以不做真機微調

另一條路線從真實示範開始,把技能放進可重播模擬環境,再生成隨機化訓練資料,最後回到同一機器人。這類流程常稱真實到模擬再到真實。

它測堆方塊與三種丟垃圾配置,結果為 65%、75%、70% 與 50%。這四項也各二十次,與前一組一起構成公告所說的真機範圍。

這裡「沒有真機微調」不等於沒有真實資料。真實示範已經在流程開頭提供技能,所以若把它說成整套系統從未看過真機示範,就會抹去兩條路線的差別。

樣本數也限制推論。每個變體二十次,差一次就相差五個百分點,因此五個百分點高低不能直接推成某種硬體或配置在一般情況一定更好。

這些結果支持指定硬體與任務的轉移可行,還不能保證新的物品、碰撞條件與動作都同樣可靠。

ScheduleGen 的使用門檻,在幾何與技能準備

排程能解決已定義的多手臂約束,但它必須先知道接觸技能、場景和哪些動作可以重疊。因此,採用前需要評估的工作,不只是能生成多少段示範。

如果換了一套手臂或工作桌,關節範圍與碰撞關係也會改變。已規畫好的轉場不能只照搬時間表,就假定新系統仍不會碰撞,因為可行路徑建立在原本的幾何條件上。

同樣地,新任務若沒有適當接觸技能,排程再好也不會自動產生操作知識。這使 ScheduleGen 更適合已有技能與設備、要擴大協同資料的研究流程。

四手臂展示與播放速度,都有範圍

專案展示四手臂共享桌面與箱子的配置,也涵蓋固定腰部的人形平台。這代表方法不只處理一對手臂,但沒有因此證明可在家裡自由走動、辨認任意工作並完成所有家務。

影片也要注意速度。現行官方專案明載總覽、任務與真機展示以三倍播放,不能用畫面節奏推論實際每件工作的完成時間。

截至 2026 年 11 月 1 日查閱的專案與論文,提供研究說明及展示,不應假定所有程式、模型和部署套件都已可直接下載。若要導入,還要核對實際發布內容與相關權利。

對團隊而言,是否已有這些可重用準備,比只看生成資料量更能判斷方法能否接上自己的流程。

延伸閱讀:SO-101 Bench v1 公開:模擬排名與真機一致,為何成功率仍不能照搬?

ScheduleGen 常見問題

ScheduleGen 的 79.6% 是真機成功率嗎?

它是二十八個模擬變體的平均資料生成成功率。策略模擬測試與八個真機變體使用另外的評估,不能用同一個數字替代。

五段示範就能學會任何家務嗎?

五段來源到五百段生成的結果,來自七個特定外部任務。流程仍需要可重播的技能、場景與協調限制,沒有證明所有家務都只需相同數量。

影片看起來快,是實際硬體速度嗎?

官方已標示三倍播放。若要了解實際工作節拍,必須看原速度、完整試次和相同條件,不能只看成功片段。

最值得追蹤的下一步是什麼?

對已有多手臂設備的團隊,可看來源技能與幾何準備能否轉移到自己的任務。接著再把生成、策略與真機三段結果分開驗收,才知道省下的是哪一段採集工作。

可從原論文排程方法與實驗對照自己的資料來源與硬體限制,把自己的同步與等待條件帶入排程比較,再決定是否投入重現。排程能處理明確約束,但實際轉移仍由對應硬體與試次驗收。

歡迎免費訂閱 AI 郵報,持續追蹤機器人學習與資料研究。

資料來源