NVIDIA GR00T 2 如何讓機器人學人類動作?40% 與 95% 成功率要怎麼讀?
NVIDIA GR00T 2 同時預測未來影片與機器人動作,嘗試轉移人類與不同身體的經驗。本文拆解五十項任務四成零樣本與五次示範九成五的條件,說明上層代理、Turbo 本體運算、資料與十二月程式釋出規畫。
機器人學新任務時,若每換一個身體就得重新示範,資料蒐集就會成為擴大應用的瓶頸。NVIDIA 的 GR00T 2 嘗試讓人類影片與其他機器人的經驗,也能幫新身體學會操作。
NVIDIA 在 2026 年 11 月 9 日的 CoRL 公告介紹這項研究,11 月 13 日再於官方 X 分享示範。這次追蹤回到原始研究頁,保留最初發布日期,並沒有把社群轉發當成當天才推出。
GR00T 2 是世界動作模型,會一起預測接下來的影片與機器人動作。它不只挑一個指令,也嘗試預期操作後場景怎麼改變,再把動作交給對應身體執行。
官方研究顯示,在五十項目標機器人未示範過的任務上,零樣本平均成功率為四成。每項補五次示範並微調後,平均成功率提高到九成五,這些是指定實驗條件下的結果。
我會先看它如何減少資料與適應成本,再看特定任務能否穩定完成。研究成果提供採用方向,仍不能把一次成功展示,直接換成任意工廠或家庭都能可靠運作的保證。
要理解數字背後的差異,先看預測影片與產生動作如何一起訓練,再分清資料轉移、少量示範及上層代理各自補上什麼能力。
GR00T 2 為何同時預測未來影片與動作?
模型把接下來看見的場景與要執行的動作一起學習,讓人的影片也能成為理解物理互動的資料。
研究稱這類系統為世界動作模型,也就是 WAM。可以先把它理解成同時回答兩個問題:接下來環境可能變成什麼樣子,以及機器人應做出什麼動作。
若只看人類影片,通常沒有機器人馬達指令;若只靠特定機器人的動作紀錄,資料又會受限於蒐集設備。把影片預測與動作產生放進共同訓練過程,是研究嘗試連接不同資料來源的方法。
GR00T 2 使用擴散模型的架構共同產生未來影片和動作,再透過對應機器人身體的小型輸出模組,把結果接到它能執行的控制訊號。
這種分工讓共同知識與身體差異有機會分開學習,而不是要求每份訓練資料都有完全相同的機械手。
研究頁有些畫面顯示模型預測的未來影像,閱讀時必須和攝影機拍到的真實執行畫面分開。預測畫面能展示模型預期的物理變化,卻不是機器人已經完成工作的證據。
本文採用官方研究的實際操作圖片與官方示範影片,也保留其實驗語境,沒有把生成的預測當成獨立測試結果。
但不同身體仍有自己的關節與控制方式,所以資料能轉移到哪裡,需要再看示範來源。

人類影片與不同機器人資料,怎麼接到新身體?
研究混合人類第一人稱影片、手持夾爪及機器人遙控資料,再測試目標機器人沒有做過的任務。
官方列出的訓練規模包括約四十萬二千七百三十小時的人類影片、一萬零一百八十四小時的手持介面資料,以及兩萬三千五百小時的機器人遙控資料。
手持介面讓人拿著具備夾取功能的設備示範,比直接徒手拍攝更接近機器人的操作方式;遙控資料則保留實際機器人的動作經驗。這三種來源提供的資訊並不相同。
規模很大也不表示資料已經全數公開。研究提到的 Human1M 公開資料約十萬小時,是人類影片資料的一部分,不能把它寫成四十多萬小時都已提供下載。
讀者若想重現結果,還要逐項確認可取得的資料、模型與程式,而不是只把總時數當成可直接使用的資源。
另一個需要保留的條件,是目標機器人仍有學習自己身體的資料。研究的零樣本,是沒有看過目標機器人執行特定測試任務的示範,不等於完全沒看過這個機器人的其他操作。它學過如何控制身體,才能把其他來源中的任務經驗轉移過來。
因此,「換一個身體也可能從既有經驗受益」是合理的研究方向;「教一台就讓每台立刻學會任何工作」則超出證據。是否能轉移,要看身體、感測器、動作範圍與任務性質,仍需要在指定目標上量測。
這種轉移減少特定任務的示範需求,並不等於目標機器人完全沒有學習自己的身體。
四十項做成功過,為何不等於八成成功率?
五十項任務中四十項至少成功一次,和所有測試次數平均四成成功,是不同的計算方式。
研究在五十項目標機器人未示範過的任務上測試,零樣本平均成功率約四成;同時,有四十項任務至少成功過一次。後一個數字反映模型已經觸及多少種任務,前一個數字才比較接近反覆執行時有多穩定。
兩者都值得看,但回答的是不同問題。
可以用一個假設例子理解:某項工作重複五次,只要其中一次完成,就會被計入「至少成功一次」的任務;這不會讓另外四次失敗自動消失。這個例子只是在說明統計口徑,並非替官方補寫每項實驗的實際試次。
閱讀研究時,分母是否是任務種類、執行次數或任務步驟,會直接改變數字的意義。
對資料蒐集來說,涵蓋更多任務代表模型已具備一些可利用的基礎;對正式工作來說,偶爾成功仍可能造成大量人工接手。若把四十除以五十得到的八成,直接當成每次動作的可靠度,就會低估失敗恢復與人力需求。
若要提高每次執行的穩定性,研究接著補入少量目標機器人的示範。
五次示範達九成五,還需要哪些條件?
官方在每項任務五次、不到三分鐘的機器人資料上,使用單張 RTX 5090 微調約三十分鐘,才得到指定任務的平均結果。
在這組實驗中,每項增加一次示範後,平均成功率提升至約七成一;增加五次示範並微調後,平均約九成五。五十項任務裡有三十七項,在補五次示範後通過所有測試。
這些數字顯示既有模型能從少量相關資料受益,而不是說任何陌生機器人都只需要五次操作。
這裡的三十分鐘,是對已完成預訓練的模型,進行指定任務適應的時間。研究使用 LoRA 這種只調整部分新增參數的方式,降低微調負擔。
不能把它寫成從零訓練整個機器人模型只需三十分鐘,也不能把每項任務的資料與適應時間,誤當成所有任務加起來的總成本。
少量示範仍需要品質控制。若示範的物品位置、抓取方式與成功判定不清楚,就很難知道效果變差是資料、模型還是測試條件造成。
對想評估的團隊,較有用的比較方式是固定任務與驗收條件,分別看未補資料、一份示範和多份示範之後,哪一類失敗真正減少。
九成五也不是研究之外的全面保證。物品換材質、光線改變,或工作區出現遮擋,都可能需要重新測試;這是部署時應設計的檢查,本文沒有替 GR00T 2 實測這些變化。
動作能力改善後,多步驟工作還需要有人決定順序、檢查結果與處理失敗。
上層代理如何規畫、標記目標與恢復工作?
推理代理安排步驟並檢查進度,GR00T 2 負責精細操作,遇到掉落或停滯時再由其他技能修復。
官方把這個分工描述成上層系統負責觀察、推理、行動與驗證,再呼叫底層操作能力。它不只是排好步驟就等待整套動作播完,而是依攝影機與狀態資訊判斷進度,必要時處理零件掉落或工作停住。
對長任務而言,恢復能力會影響整件事最後能否完成。
研究也測試在畫面上標記抓取與放置位置,讓上層系統說清楚「哪裡」與「做什麼」。在 YAM 機器人的指定實驗中,這種空間標記把成功率從四成提高到九成二;只提供步驟文字時是六成六。
但對需要理解「怎麼做」的測試,改善較小,從四成四到五成九。標對位置,仍不能取代所有動作技巧。
玩具組裝展示則包含三種玩具,共三百次測試完成二百九十二次。這是特定組裝流程的結果,不能延伸成所有機器人工作都有相同成功率。
另一組較複雜的 NIST 操作板工作只完成十次中的三次,也提醒讀者,多步驟工具能接起來,並不保證每種長任務都已穩定。
對 Dexter 的部分測試,標記改善了步驟表現,完整任務仍很少成功。看影片時若只注意最流暢的一段,就容易錯過這種差異。
評估應同時記錄單步完成、整體完成,以及需要人工介入的地方,才能知道上層代理究竟補上多少能力。
這個分工也提醒讀者,能做精細操作與能讓整個身體穩定移動,仍有不同需求。
Turbo 如何在機器人身上運算?
Turbo 縮小模型與影片表示,再由全身控制器把規畫轉成關節動作,讓部分計算能在機器人本體執行。
GR00T 2 Turbo 採用約二十億參數的模型,降低影片表示的負擔。官方在 Jetson Thor 上列出約一百二十四毫秒的單次預測延遲,並展示與 SONIC 全身控制器的結合。
這說明的是指定軟硬體配置下的速度,不能單看毫秒數,就認定所有機器人都能達到相同效果。
這套系統有不同時間尺度。模型規畫一段接下來的動作。全身控制器較頻繁地更新身體控制。關節控制又以更快速度運作。因此,預測耗時、規畫更新頻率與關節控制頻率,並不是可以互相替換的指標。
延遲降低有助於操作反應,仍需要底層控制穩定執行。
官方表示展示中除推理模型之外的部分可在機器人本體運算。這個例外必須保留,不能把展示改成整套系統完全不需要外部運算。Turbo 在部分任務也落後較大的版本,所以選擇較小模型時,應同時看速度與實際任務品質。
更低延遲還不等於所有任務都更準,部署仍要回到自己的身體與工作。
研究展示離正式部署,還差哪些檢查?
需要確認資料、身體、工作環境與實際釋出的程式範圍,並把完整任務成功率和單步效果分開驗證。
截至本文整理的 2026 年 11 月 14 日,官方研究頁標示程式將於十二月提供,不能把這篇新聞當成已能下載完整程式與權重的安裝教學。
本文沒有執行模型、控制真實機器人或重現研究數字,所有性能結果都來自 NVIDIA 的研究說明。
有研究能力的團隊,可以先挑一項可重播的桌面操作,明定成功條件與人工接手點,再核對自己的身體是否有對應支援。若工作涉及移動、接觸人員或昂貴物件,還需要自己的現場驗證,不能由模型在研究任務的平均分數代替。
已有機器人研究能力的團隊,可先從一項可重播任務比較資料需求與失敗型態。
GR00T 2 常見問題
零樣本代表完全不用目標機器人的資料嗎?
不是。研究測試的是沒有目標任務示範的轉移,目標機器人仍有學習身體的一般操作資料。它減少特定工作的示範需求,沒有消除所有身體適應。
五次示範九成五,可以當成工廠保證嗎?
不能。數字來自指定五十項任務與微調條件,工作環境與失敗代價改變後,仍需重新測試。任務至少成功一次,也不能代替反覆執行的成功率。
現在能直接下載 GR00T 2 程式嗎?
研究頁目前標示程式預計十二月提供。讀者應等待實際釋出,再核對模型、資料、相容硬體與授權,不能把研究展示當成已交付的部署套件。
先把示範成本和完整成功率一起記錄
GR00T 2 提供的研究方向,是讓不同身體與人類影片中的經驗,降低新任務的資料需求。評估價值時,把示範時間、微調成本、完整成功率與人工恢復次數放在一起,會比只引用最亮眼的九成五更有用。
先選一項可以重複比較的工作,再等可取得的程式與模型到位,才有辦法判斷它能為自己的系統省下哪一段成本。
延伸閱讀:Agility Digit 5 導入 NVIDIA IGX Thor:人形機器人運算與安全,商用前還要完成什麼?
延伸閱讀:ToyBlocks 是什麼?Ai2 用積木模擬定位機器人失敗原因,真機測試怎麼看?