UMI-Live 開源雙手資料採集系統：按下錄影之後，40 小時資料如何教機器人？
UMI-Live把雙手示範採集、同步重建與LeRobot資料交付接成管線。解析39.7小時資料、橘子入碗10/10的混合訓練條件、硬體費用與跨任務限制。
UMI-Live 把雙手示範採集器做成能拿著走的兩個夾爪，研究者不必先在房間架追蹤基站，就能記錄人怎麼拿物品。原作者在 2026 年 10 月 30 日介紹整套系統，想解決的是機器人訓練示範難以持續收集的問題。
畫面看起來像人拿著工具做家事，但相機只拍到動作還不夠。機器人需要知道兩手在哪裡、夾爪何時張開，以及不同感測器記錄的時刻能不能對上。
這讓 UMI-Live 的重點落在錄影後的工作：定位重建、雙端同步、夾爪狀態與資料格式，都被接進同一條處理流程。系統可以在處理上一段時繼續錄下一段，減少採集與整理互相等待。
論文累積 3,255 段、39.7 小時示範，也用混合手持與機器人遙控示範，在橘子入碗任務得到 π.5 十次完成十次的結果。不過，這個成績包含目標場景的遙控示範，不能全部歸功於手持示範。
我認為這套系統適合研究「如何穩定生產可訓練示範」的團隊。若期待看到不用目標機器人資料就學會所有家務，目前的一項任務與十次試驗還不夠回答。
要理解這個差距，先看兩個手持夾爪究竟替採集者省掉什麼，以及哪些準備仍得完成。
UMI-Live 把定位裝進手持夾爪，省下的是場地追蹤布建
兩個夾爪各自帶著影像、定位、運算與電池，因此人可以拿著它移動收集示範。依原作者專案，這個設計把原本容易散落在外部的設備，整合進每個手持單元。
其中的 LiDAR 用光測量周圍距離，搭配慣性感測資訊，重建夾爪走過的路徑。相機則同時記錄眼前物品與夾爪標記，讓紀錄不只是一段影片，還能對應到抓取過程中的位置和開合。
這種整合的意義，是採集者換一張桌子或換一個房間時，不必先把追蹤基站搬過去重新布置。示範可以發生在物品本來所在的位置，收資料的前置工作就少了一項。
不用場地校正，為何仍要校正相機與夾爪？
手持採集不依賴預先布建的外部追蹤設施，但硬體本身仍需要正確設定。官方程式說明提供相機校正與夾爪端點校正，後者要知道實際完全張開和關閉各落在哪裡。
假設兩個夾爪的最大開口不同，卻把相同原始讀值當成一樣張開，後面的模型就會收到不一致內容。把物理開口轉成統一範圍，才有機會在不同錄製段落之間維持相同意義。
相機也有自己的成像幾何，所以「不必為場地架設備」和「組好硬體就完全不用校正」差別很大。前者降低換場景的負擔，後者會直接影響資料是否可信。
這項方便仍有手持負擔。論文硬體表列出的評估版本，每個單元含電池重 1.42 公斤，一次充電運作約 1.5 小時，採集者要拿著兩個單元完成雙手動作。
因此，可攜帶不等於拿著沒有重量。若工作需要細小操作或長時間重複示範，設備尺寸和疲勞仍會影響可收集的內容，不能只看感測器已經全部整合。
手持採集不必為每個房間架基站，但相機和夾爪校正仍是訓練示範可用的起點。
錄下動作之後，雙手紀錄還要同步、重建與交付
每次錄製留下的是兩端原始紀錄，系統還得把它們對成同一段可用的示範。如果左右手各自錄得很清楚，時間卻錯開，模型仍可能學到不曾發生過的協調動作。
在官方流程中，主要單元的按鈕協調雙端開始與停止，另一端沒有確認時就不開始錄製。兩端先把資料存在本機，再上傳到處理伺服器，讓現場錄製和後續整理可以分工。
手持單元可自行錄製，但整套流程仍有處理伺服器。官方重現指南把兩端設備與伺服器的連線列為準備事項，因此採集不需要追蹤基站，並不代表後端運算與檔案傳輸也全部消失。
如果場地網路不穩，錄在裝置上的原始檔與已整理的訓練集就是不同進度。團隊要能追到哪一段完成配對、哪一段仍在處理，才不會把錄製數量當成最後可用數量。
這個先存再處理的設計，也避免把「完成錄影」直接當成「完成訓練資料」。影像解碼、定位重建、夾爪狀態擷取與格式整理，都要接續完成，才會得到一段完整資料。
背景處理省下等待，沒有省掉驗證
系統使用 GLIM 進行定位重建，可以把它理解成根據感測紀錄，回推夾爪如何在環境中移動。這一步把人手拿著設備走過的路徑，轉成後續訓練需要的軌跡資訊。
處理上一段紀錄時，人可以繼續錄下一段。因此採集節奏不必完全跟著最慢的整理步驟走，但紀錄品質仍受場景幾何、感測與移動方式影響，背景運算不會讓不良紀錄自動變成好示範。
共同格式也保留兩手位置與各自夾爪開度，動作則以相對位移表達。它讓不同來源的示範能用相通的方式整理，但機器人如何把相對動作換成關節命令，仍是控制端的工作，不能交由檔案格式代替。
同步的重要性在雙手任務尤其清楚。假設一手扶碗、另一手把物品放進去，兩隻手的相對時序本來就是技能的一部分，只有各自的位置正確還不足以保留這個技能。
處理結果會轉成 LeRobot 資料集，這是讓影像、狀態和動作以一致方式組織的格式。格式一致能減少模型訓練前的搬運整理，但不表示任何機器人都能直接照著執行。
因為人的手持夾爪與目標機器人仍有不同幾何和控制方式，檔案交付之後還要完成表示轉換與訓練。這也是論文另外使用目標機器人遙控示範的原因之一，不能把格式相通當成能力已經轉移。
紀錄預設留在本機，發布是另一項設定
官方程式預設只保留本機訓練集。研究者另外設定 Hugging Face 儲存庫與寫入憑證後，才會啟用同步，而且初次建立的儲存庫是私人狀態。
這代表按下錄影按鈕，並不等於同意把家中影像公開。採集、遠端備份與對外分享是不同動作，團隊仍須依錄到的人、環境及合作條件決定發布範圍。
當重建與格式轉換能在背景完成，採集者才有機會把時間花在下一次示範，而非逐段搬檔。
39.7 小時資料與 10/10 真機結果，測的是不同範圍
釋出內容涵蓋三種任務，但論文的自主真機驗證集中在橘子入碗。這個範圍差異很重要，因為示範已收集，不代表每一類動作都已在機器人上驗證成功。
公開研究的 3,255 段示範包括橘子入碗、倒水和摺毛巾，總長 39.7 小時。它讓讀者看見系統能持續產生不同接觸動作的紀錄，卻不能直接回答倒水或摺毛巾的自主策略表現。
真機測試使用兩隻 i2RT YAM 手臂，把六顆橘子全數放進碗裡才算成功。測試允許模型重試及恢復，因此成功代表整段任務在該次試驗內完成，沒有承諾每次抓取都一次到位。
先看訓練混合，再看成功次數
論文這項任務的訓練池包含 296 段手持示範和 75 段目標機器人遙控示範。研究者從既有模型出發，使用不同資料混合比例微調，也就是讓模型再學習這項任務。
以下是原論文的實體測試設定與結果，比例指訓練時手持示範和遙控示範的占比。
| 模型與設定 | 手持／遙控比例 | 完成任務次數 |
|---|---|---|
| π.5 微調 | 95%／5% | 9／10 |
| π.5 微調 | 90%／10% | 10／10 |
| MolmoAct2 微調 | 75%／25% | 8／10 |
| MolmoAct2 釋出版本 | 未經這項混合微調 | 0／10 |
結果顯示，這些混合資料能讓既有模型在指定雙手任務取得有效表現。尤其 MolmoAct2 的對照，支持任務適應帶來改善，但仍無法把改善全部歸到手持示範。
因為研究沒有加入只用手持示範、或只用遙控示範的完整對照，我們還不知道各自單獨能做到多少。π.5 的兩組比例也各只有十次試驗，不能由一顆橘子的差距就認定某個比例普遍最好。
每個訓練條件只使用一個訓練隨機種子，表示模型只以一種隨機初始化或取樣路徑完成這次訓練。重複訓練是否仍得到相近結果，是這份小規模實驗尚未回答的問題。
目標場景的遙控示範也有實際作用。手持示範與真機部署場景在光線和位置上不同，混入目標機器人紀錄，讓模型有機會看見最後要執行任務的環境。
這些結果支持混合資料能讓既有模型適應指定任務，還不能分離手持與遙控示範各自帶來多少提升。
延伸閱讀：SO-101 Bench v1 公開：模擬排名與真機一致，為何成功率仍不能照搬？
UMI-Live 的價值在採集管線，下一關是跨任務證據
採集設備變容易使用，只有在後端紀錄品質與目標機器人適配也跟上時，才會轉成可重複的能力。UMI-Live 把這條路徑公開，讓團隊可以追查資料從哪裡來，而不只觀看一段成功影片。
對已有機器人平台的研究者，先降低資料採集摩擦有合理價值。當示範必須反覆補收，背景處理和統一格式能減少重新串接工具的工作，讓失敗案例比較容易回到資料端處理。
但採集器無法替所有感測問題提供答案。論文明列定位重建受環境和動作影響，因此新的桌面、遮擋或快速移動，仍需要驗證紀錄品質，不能只因設備同一套就假定軌跡同樣可靠。
影片中的人手活動也要辨認。官方提供精細抓取、點火柴和摺襯衫等展示，其中有人持夾爪收集或遙控示範；它們說明設備可記錄的操作，不等於這些動作都已由自主模型完成。
另外，手持採集與機器人遙控使用不同追蹤安排。論文的遙控配置包含 Vive Tracker 與外部基地台，所以手持採集免架基地台的優點，不能延伸成整套訓練和部署永遠不需外部追蹤。
1930 美元估價，買到的是哪一段流程？
硬體表列一對採集器成本約 1,930 美元，這是評估版本的硬體估算。目標機器人手臂、伺服器、模型訓練和操作人力，不會因為採集器有這個價格就一起包含在內。
若團隊已經有雙臂平台，新增採集器和處理管線的負擔，與從零建一個機器人實驗室會很不同。因此，這個數字比較適合用來理解採集端投入，不能當成家務機器人的購買報價。
下一個能改變判斷的證據，會是更多任務、不同操作者與更完整的資料對照。若能保留相同驗收條件，再看成功率與重試情形，才知道採集便利是否穩定轉成跨情境能力。
對研究團隊而言，下一個有意義的進展是更多任務與資料對照，而不是把單次十連勝當成全屋可靠性。
延伸閱讀：FineART 開放機器人資料與模型：40,543段示範，子任務標註為何重要？
UMI-Live 常見問題
UMI-Live 是直接執行家務的機器人嗎？
它的核心是手持雙手示範採集與資料處理系統，最後還要由目標機器人執行學到的動作。論文把資料用於雙臂橘子入碗測試，沒有提供通用家庭機器人的上市承諾。
UMI-Live 完全不用校正嗎？
手持採集不需要先替場地布建外部追蹤，但相機和夾爪仍要校正。若換掉硬體或標記，團隊還得按官方流程更新設定，才能維持資料意義一致。
十次完成十次，是否代表可以無人照看？
這是單一任務、單一訓練種子與十次測試的結果，而且含遙控示範混合與任務內重試。它支持研究可行性，並未涵蓋家中人員、物品變動與長時間運轉的完整可靠性。
錄下來的資料會自動公開嗎？
程式預設本機保存，遠端同步需要額外設定，初次建立的資料庫也是私人狀態。對外發布仍是獨立決定，錄影者不能只以設備支援上傳就省略素材與隱私安排。
如果你正建立雙手資料流程，可從官方重現指南核對硬體與處理需求，再依自己的目標任務設計驗收。把採集成本與真機證據分開，會比只追求更多錄影時數更接近可用的訓練資料。
歡迎免費訂閱 AI 郵報，持續追蹤機器人資料與模型研究。
