Open-HumanWAM 公開五萬小時配方，人類影片怎麼變成機器人動作？
Open-HumanWAM 整理五萬小時第一人稱資料，解析人手與夾爪動作對齊、資料多樣性、Vanilla 與 Goal 路線，以及真機零樣本成功率的分母。
看一個人收拾桌面，畫面裡有物品位置、手的移動與操作順序，但機器人不能直接把人的手指當成自己的關節。
Open-HumanWAM研究處理的，就是影片與動作之間的落差。它在2026年11月4日首次公開，5日更新，最初版本名為Open-HumanScale。
團隊提出五萬小時第一人稱資料與訓練配方，先清理動作，再把不同來源的位置與方向對齊，讓規模建立在可比較的訊號上。
研究也把純人類資料預訓練，以及混合人機資料的兩條路分開。它們能回答的問題不同，不能只挑各自最高分，合成一個模型的全部能力。
真機零樣本測試從平均二成提高到三成多，另有經任務訓練的高分與長流程展示。是否看過任務示範，是這幾組結果最需要保留的條件。
我認為值得研究者關注的是資料整理與可對照的實驗。它提供人類操作如何轉移到機器人的線索，還不是下載後就能完成任意家務的承諾。
先看五萬小時如何留下來，才知道模型到底學到了哪些可用的動作。
五萬小時人類影片，先經過哪些清理？
團隊從既有資料選出可見、穩定且正在操作的片段，讓新增時數帶進有用的動作訊號，而非只是更多畫面。
依最新論文，來源原有約104,289小時，整理後留下五萬小時。這是整合與篩選成果，並非團隊為本研究另外拍攝五萬小時新影片。
資料包含不同第一人稱來源，其中HumanNet約四萬零七百小時、EgoSuite約七千零八十小時，其餘來源補上不同操作與場景。最大來源仍占多數，所以總時數不能代替來源組成。
研究先按連續的物理操作分段，再製作可供訓練的片段。約3,140萬段物理紀錄，最後對應約3,593萬個保留片段，兩個數量的單位不同。
清理首先要知道手是否真的可見。如果畫面只有一隻手可靠可見，團隊只把那一隻手納入動作學習與數值統計，避免用缺失的另一隻手教出錯誤目標。
相機姿態突然跳動的片段也會被處理。因為人頭上的相機會移動，若估計不穩，把相機變化誤讀成手的移動，就會污染動作軌跡。
閒置片段則以三十二幀視窗判讀，操作活動不足七成的區塊會被移除。這把訓練重心放在正在做事的內容，也改變了影片原本的時間分布。
這些步驟共同處理一個問題，模型需要學的是怎樣操作，而非只學看見什麼。資料越大，錯誤或閒置內容反覆出現的次數也可能越多，所以清理和擴大規模需要一起看。
有了可靠的手部軌跡，還得讓不同攝影方式與不同機器人的數字能互相對照，否則同樣的位置值仍可能指向不同方向。
人的手和機器夾爪，怎麼用同一種表示學習？
共同表示描述手腕位置、方向與開合，讓人類操作和機器動作有可對照的接口，而非直接把手指關節搬到機械手。
HumanWAM-Vanilla對每隻手使用八個數值，包含三維位置、四個描述方向的旋轉數值，以及一個開合量。兩隻手合計十六維，用來統一雙手操作。
人手的捏合程度對應夾爪開合，手腕方向則先和相機及不同來源的軸向對齊。這讓「向前移動」或「轉向某處」不會因資料來源不同，就換成另一種物理意思。
方向採四元數表示，它是一組描述三維旋轉的數字。讀者不必先計算公式，重點是資料需要用一致方式記錄轉向，才能把不同來源放進同一個學習目標。
沒有可靠標註的手部數值，會從損失與標準化統計中排除。標準化是把不同尺度整理成適合模型學習的數值範圍，若把缺失值混進去，也會影響有效資料的尺度。
模型從Wan2.2-TI2V-5B影片底座擴充，加入動作專家，讓影片與動作兩部分交換資訊。世界動作模型的意思，就是同時學習畫面接下來如何變化，以及應採取哪些動作。
但訓練架構有多種設定。探索實驗的一條路，可以只讓動作看當前畫面，不生成未來影片；最後的Vanilla版本則先生成未來畫面的內部表示，再依它預測動作。
因此，「不畫未來也能執行」只適用部分探索設定。若把這句直接套到最後模型，就會漏掉它實際需要執行的未來畫面預測。
鏡頭更多也未必直接更好。探索中，只看頭部視角的部分設定，加入手腕鏡頭後反而降低場景外表現。團隊再用相同多視角的人類資料銜接訓練，才改善這段轉換，顯示輸入改變也需要適應。
共同動作表示讓人類資料有了進入模型的方式，接下來才輪到檢查更多時數究竟帶來哪些能力。
延伸閱讀：Verne V0.5 開放世界動作模型，影片學習如何接上工業機器人的即時控制？
更多資料與更多場景，分別帶來什麼證據？
研究同時比較時數、場景與對齊方式，顯示資料規模的收益與內容品質有關，但不能把結果說成固定運算量下的純時數效應。
探索設定從一百小時逐步擴到五萬小時，之後以機器人示範訓練，再測試操作。這是在檢查人類資料能替後續機器人學習留下什麼基礎。
RoboTwin探索使用五十項任務，每項五十段乾淨示範，後續訓練一萬兩千步。每個評估條件再讓每項任務執行五十次，一組共2,500次。
乾淨條件沿用示範中的場景。場景外條件更換背景與桌面紋理，隨機條件則再加入雜物、光線與桌面高度變化，因此三者在測不同程度的環境改變。
其中一組從一百增至一萬小時，乾淨成功率從71.2%到80.0%，背景改變時則從25.2%到58.1%。相較之下，資料增加對場景變化的幫助更明顯。
研究也注意到小資料訓練太久可能退步，因此按資料規模調整批次大小與訓練預算。這不是所有模型都固定花相同運算，單純只換影片數量的實驗。
每組資料還會選自己的最佳模型版本，不同評估條件可能選中不同時間點。這讓研究能觀察各條路的較佳結果，但不能假設表中的三個最高分都來自同一份權重。
時數相同，內容多樣性與對齊還重要嗎？
團隊從共同的五千小時來源設計一百、五百與一千小時的比較，配合任務和場景覆蓋，檢查多樣性如何影響資料增加的收益。
其覆蓋範圍涉及2,288種任務與2,953個場景。這些實驗支持多樣內容能改變擴大資料時的曲線，並非把同一段示範重複更多次，就能代替新場景。
另一組固定一千小時，比較對齊後與原始動作。乾淨條件為77.5%對72.0%，場景外為52.2%對43.2%，隨機條件為26.4%對18.0%。
時數沒變，成績仍有差異，說明共同座標與動作表示值得投入整理。更多資料的作用，需要放在「模型收到的數字是否一致」這個前提下理解。
Vanilla 與 Goal 的成功率，為什麼不能混讀？
純人類預訓練後再適應機器人，和混合人機資料預訓練，是不同的證據路徑，是否看過機器人任務示範也要各自標明。
Vanilla的前期學習只使用五萬小時人類資料，之後針對機器人任務訓練。這能支持人類資料作為基礎，但不代表它只看人類影片，就直接取得所有表中成績。
最後Vanilla在RoboTwin乾淨條件92.08%，隨機條件68.88%，平均80.48%。這兩項使用任務訓練後的策略，和前節一萬兩千步探索設定也不能當成同一實驗。
RoboDojo的平均成功率為14.17%，另有進度分數19.00。進度分能反映部分完成，不能因為數字較大，就把它改寫成完整操作成功率。
HumanWAM-Goal則在預訓練時混合人類與機器人資料，也加入目標圖片。目標圖讓模型知道希望物件最後呈現什麼狀態，並不只依靠語言指令描述。
這條路使用四十九維的混合動作空間，涵蓋夾爪、關節與底座等不同表示，再以有效遮罩選擇適用部分。它和Vanilla的十六維雙手表示不是同一份輸出格式。
Goal在RoboTwin沒有做該任務後訓練時，平均成功率13.94%。這裡的零樣本指沒有該任務適應，並不表示模型從未在預訓練見過任何機器人資料。
經任務訓練後，它在乾淨與隨機條件分別為92.70%與84.60%，平均88.65%。這回答的是學過任務後的表現，不能拿來取代零樣本的13.94%。
這些結果讓兩條路各有用途。Vanilla較直接檢查人類預訓練的轉移，Goal則探索混合資料與目標畫面如何支援執行，沒有必要把它們排成一個去掉條件的總榜。
目標圖片能讓真機學會哪些改變？
同一模型可以依目標圖改變執行方向，但真機零樣本測試和經任務訓練的長流程示範，仍要分開讀。
在零樣本比較中，機器人資料固定為14,618小時，分別不加人類資料、加入15,901小時，以及加入45,938小時，觀察額外人類經驗帶來什麼變化。
測試共二十項任務，每項十次，一個模型共二百次。平均成功率依序為20.0%、26.0%與30.5%，顯示在這套混合訓練與真機條件下，人類資料有助於執行。
另一個數字是至少成功過一次的任務數，從二十項中的十項，增加到十四項與十六項。成功過一次表示有能力線索，卻不等於十六項任務都能穩定完成。
目標圖的展示則觀察模型是否能隨不同畫面，調整放置位置或完成狀態。這是在參數不改動時，用輸入改變行為，和每換一張圖就重新訓練不同。
不過，論文也分開展示預訓練與經任務訓練的策略。十四階段操作與家庭長流程使用對應的任務適應，不能把選出的長影片當成全部零樣本模型的常態能力。
若模型需要先預測未來，再執行一段動作，目標畫面便替它提供了具體終點。但如何處理失敗、中途物件改變與長流程重規畫，仍需用相應測試另行觀察。
官方專案頁提供資料、模型與評估材料入口。本文未實際下載訓練或部署，公開配方的價值在於讓不同資料整理與訓練選擇可以被檢查，不等於所有材料已對每個人無條件可用。
延伸閱讀：RynnVLA-Latent 用 3 萬小時影片預訓練機器人：潛在動作為何還不能直接控制？
Open-HumanWAM 常見問題 FAQ
Open-HumanScale與Open-HumanWAM是兩個新研究嗎？
是同份研究的版本脈絡。十一月四日首版使用前者名稱，五日更新採後者，本文依最新論文與專案頁解讀，不把更名再算成另一項首發。
五萬小時都是新拍攝的人類資料嗎？
團隊從約十萬四千小時既有來源整理出五萬小時，另做片段選擇與動作對齊。總時數描述整理後規模，不能當成新拍攝量。
真機成功率30.5%，和十六項任務成功代表同一件事嗎？
30.5%是二百次測試的平均成功率，十六項則指二十個任務裡，各自十次至少有一次成功。兩個數字的分母與穩定性意義不同。
結論
Open-HumanWAM讓人類影片的價值落到可比較的資料與動作表示上。它同時提醒我們，規模、對齊、混合訓練與任務適應，會在不同位置改變結果。
想重現這條路的研究者，可先選定純人類或人機混合設定，再固定任務、模型版本與分母比較。先把改變來源拆開，才知道五萬小時究竟替自己的機器人問題補上哪一段。
