HubEgo-100K 開放第一批資料:一萬小時人類工作影片,怎麼幫機器人學習?
HubEgo-100K 首批公開 10,124 小時第一人稱工作影片,包含同步感測與 AI 標註。解析已釋出範圍、CC BY 4.0、存取要求及機器人訓練的限制。
機器人想學會修東西或整理工作台,需要看到人怎麼處理工具。HubEgo-100K 把這類第一人稱工作影片整理成資料集,但名稱中的十萬小時仍是一項分批釋出的計畫。
截至 2026 年 11 月 18 日查詢,官方資料卡列出的第一批為 10,124 小時,來自 12,227 名貢獻者。先分清已公開的範圍,才能估算下載、整理與研究能做到哪一步。
這些畫面以頭戴式相機拍攝,記錄人在工地、維修台、廚房等環境工作的過程。因為視角跟著人移動,模型可以接觸手、物品與環境連續變化的關係。
官方指出,手部在畫面中可見的時間超過九成五,並提供同步慣性感測資訊。不過人類影片和機器人的關節指令之間仍有落差,資料本身不會讓任何機械手立刻學會同一個動作。
這批資料適合研究人類操作與視覺表徵的團隊,也讓小型研究者有較大規模的素材可用。但準備直接部署機器人的團隊,仍需要目標硬體的訓練與安全驗證。
要決定是否使用它,第一步是看清楚影片、標註與感測資料各自提供什麼,以及哪些機器人訓練訊號還要另外取得。
HubEgo-100K 第一批開放了多少資料?
官方第一批資料卡比發布貼文的整體願景更適合用來規劃研究。
官方資料卡把第一批內容列得很清楚:10,124 小時、72,754 段影片,來自 12,227 名不同貢獻者。影片中位長度為 4.9 分鐘,最長可到三十分鐘,足以記錄一段有前後關係的工作。
發布貼文談的十萬小時與十萬名以上貢獻者,是整體計畫的規模。官方說其餘九萬小時會在接下來幾週分批推出,這是一項發布安排,不能提前算進研究者已經取得的資料。
這個差別會直接影響規劃。若團隊先以十萬小時估算訓練步數,卻只下載到第一批,資料重複使用程度與預期就會不同。較穩妥的方式是先鎖定版本,再依實際取得的清單建立實驗。
第一批涵蓋 15,548 個單一環境,工作場所占時數的 83%。其中可以看到建築、維修、美容、餐飲、倉儲等工作,讓同一類手部動作出現在不同工具與材料旁邊,而非全部來自同一個實驗室。
官方也列出五十六種任務類型、三十個工作分類與三十五種動作家族。分類的用途是讓研究者能抽出需要的片段,但不能把分類數量當成機器人已經會做的技能數量,因為資料仍需訓練與驗證。
下載前可以先用目錄確認目標任務是否有足夠樣本,再決定要處理哪些影片。這能降低儲存與前處理負擔,也避免因為整體時數很大,就預設自己關心的細分工作一定有足夠覆蓋。
數量之外,這些影片是否能描述實際工作,也是資料價值的關鍵。

Today we're open-sourcing HubEgo-100K: the most diverse egocentric dataset on 🤗 @huggingface.
— Hub (@hubdotxyz) November 16, 2026
100,000 hours of skilled tasks from 100,000+ different Hub contributors.
Free for research and commercial use 🧵 pic.twitter.com/ptEC0qQZ0D
第一人稱影片為什麼對機器人有用?
鏡頭貼近操作者,能連續記錄手與工具的互動,讓模型學習工作中的視覺線索。
第一人稱代表相機跟著操作者看工作,因此手接近什麼物品、工具如何接觸表面、下一步拿起什麼,都能出現在連續畫面裡。相較只有完成品的照片,這些影片提供了過程,而不只是結果。
官方把手在畫面中的可見時間列為超過 95%,並稱 96.9% 的片段時間正在執行任務。這些是資料提供者的品質描述,能協助理解篩選方向,但本文沒有獨立逐段驗證同樣的比例。
對學習視覺特徵的模型而言,連續過程有助於研究物品狀態變化。例如一條電線從未連接到已固定,可能需要看前後影格,才能理解工具接觸的位置與結果,單張圖片未必提供完整線索。
但人的手指、身體與機械手具有不同限制。影片裡的人能從觸覺知道握力是否足夠,觀察者卻不一定看得出來,而不同機械手的關節與夾持方式也不相同,因此模仿畫面仍有轉換成本。
因此,這批影片可用來研究辨識工作階段、理解動作與訓練視覺表徵,不能直接等同於包含完整機器人控制命令的示範。若要把能力移到真機,通常仍需相對應的動作資料與驗證流程。
資料多樣性也要靠實驗確認效果。來自很多環境,可能幫助模型適應不同背景,但如果訓練與測試把同一個人的近似工作混在一起,結果仍可能高估泛化能力,因而需要清楚的切分規則。
但看懂人怎麼做,與知道機器人要輸出哪個指令,仍是不同任務。
RGB、IMU 與標註各自解決什麼?
影像、動作感測和文字標註彼此補充,卻不能互相取代。
RGB 指一般彩色影像,記錄相機看到的外觀。官方第一批列出的規格為 1920×1080、每秒三十格,因此能研究手與工具的連續位置,但影像尺寸本身不會保證細小零件都能辨識。
IMU 是慣性測量單元,利用加速度與角速度等資訊描述相機移動。資料卡列出一百赫茲的感測記錄,並把資訊對齊到影格,研究者因此可區分一部分畫面變動究竟來自相機,還是物體本身。
不過頭部感測不是手指力量或機械關節位置。假設操作者轉頭看別處,感測器能記錄頭戴裝置的動作,卻不能補出沒有拍到的手部細節,因此使用時仍要保留影像缺失的邊界。
文字部分包含任務描述、步驟指示、動作類型、難度與環境。資料卡也提供子任務與出現時段的表格,有助於把長片段切成研究單位,讓模型不用把整段影片視為一個不可分的動作。
這些密集標註由視覺語言模型產生,官方明確表示尚未由人逐筆檢查。因此,若要評估細微的步驟辨識,可以先人工抽查目標類別,確認標籤是否符合自己的任務定義,再決定如何訓練。
格式方面提供 LeRobot v3 與 MCAP。前者方便接進機器人學習資料流程,後者可容納帶時間的多種訊號。但支援格式只是資料可讀的起點,研究者仍需檢查時間對齊、欄位和缺失值。
因此拿到資料後,訓練前還得先確認格式和標註品質。
CC BY 4.0 和存取表單怎麼一起看?
官方列出允許商用的授權,同時要求登入並完成簡短存取流程,使用權與取得方式應分開理解。
官方把資料列在 CC BY 4.0,也就是在遵守署名等條件下,可以使用、分享與改作,包含商業用途。這讓研究成果後續較容易銜接應用,但使用者仍需查看授權全文和實際使用的資料版本。
同一頁也列有存取要求:登入 Hugging Face,完成簡短表單後取得資料。這表示公開授權與取得流程是兩個層次,不能因為允許商用,就把它描述成任何人無須登入都能立即下載。
本次查核只讀取公開資料卡與官方發布,沒有代讀者填表、登入取得受限內容或提交聯絡資料。因此對檔案內部完整性與所有影片的實際可下載狀態,本文沒有做逐檔驗證。
若組織要建立研究環境,可以先由負責資料治理的人確認存取條件,再保存版本、授權與署名方式。這些紀錄會讓後續模型訓練與發表能回到同一批素材,而不只記得資料集名稱。
即使資料卡允許商用,也應查看與使用情境相關的隱私說明,尤其影片來自真實工作場所。不要因為畫面可取得,就把片中人物身分、工作地點或背景資訊另外拿來做超出研究目的的分析。
官方介紹也不等於所有展示素材都具有同一種可任意改作的權利。例如發布影片與資料檔的授權需各別查看,因此本文保留官方播放器與直接來源,不把宣傳片視為可重製廣告素材。
處理完存取與署名後,研究團隊仍需建立自己的評估邊界。
怎麼設計有意義的機器人研究?
先以小範圍驗證資料是否改善目標任務,再決定是否擴大處理整批影片。
一個可行的起點,是選定一種手部操作任務,先確認資料中是否有足夠的不同人與環境。研究者可以比較使用這些影片前後,模型在未見場景的辨識或表徵任務是否改善,再決定下一步。
切分資料時,可以避免讓同一貢獻者或高度相似的環境同時進入訓練與測試。這樣較能看出模型學到的是可轉移線索,還是只記住某個工作台的背景與工具擺放方式。
若研究目標是控制機械手,則需要另外定義真機任務、成功條件與安全邊界。例如可先在受控物品與低風險環境比較抓取或排序,不能只憑影片分類進步,就宣稱機器人能處理所有同類工作。
對標註品質也可以分層檢查。任務名稱是否大致正確,與每個子步驟起訖時間是否精準,會影響不同研究。把它們混成一個整體正確率,可能掩蓋需要人工修正的部分。
此外,處理一萬多小時影片仍有運算成本。縮圖、取樣影格、解碼與儲存都會消耗資源,因此可以先量測小批次的時間與空間,再推估整體工作量,而不是直接對所有影片跑最昂貴的流程。
這種分階段驗證也有助於評估後續九萬小時。若第一批已能改善目標任務,新增素材可以用相同方法追蹤增益。若沒有改善,則應先找出視角、標註或動作對齊的問題,單純增加資料量未必有效。
只有在未見過的環境也有效,更多影片才有機會轉成可靠能力。
HubEgo-100K 常見問題
HubEgo-100K 已經釋出十萬小時了嗎?
官方將整體計畫分批推出。查詢時第一批資料卡列出 10,124 小時,後續時程仍需追蹤原頁更新。
影片可以直接當機器人動作指令嗎?
不能直接等同。它包含人類視角影像與感測、文字標註,機器人控制所需的關節動作與安全驗證仍需另外處理。
商業用途需要付費嗎?
資料卡列 CC BY 4.0 並允許商用,但存取需登入與表單。研究者仍要遵守署名等授權條件,運算與儲存費用也另計。
先驗證資料如何幫上目標任務,再追求更多時數
若研究的是人類工作理解,可以先從官方目錄挑出一小類任務,檢查標註並建立不重複環境的測試集。這一步能回答資料是否適合,而不用一開始就承擔整批處理成本。
若目標是真機操作,則應把影片學習與控制驗證分開記錄。當資料帶來的改善能在目標硬體與新場景重現,十萬小時的願景才有機會轉成可衡量的機器人能力。
延伸閱讀:Melty Gym 發表:把遊戲改成機器人訓練場,模擬成功能代表真機能力嗎?
延伸閱讀:Gemini Robotics 2.5 進入賓士產線試點:96% 成功率與機器人安全數字怎麼看?