SuperMimic 用一張 GPU 訓練人形動作：千倍 GPU 時數差距，究竟怎麼比較？
SuperMimic 以學得的世界模型訓練人形機器人動作，稱單張 GPU 三小時超過 SONIC 公布模型的回報。本文拆解 GPU 時數、129,514 動作的失敗分母、真機示範與平地限制。
讓人形機器人跟著大量動作學習，成本常不只在機體，也在反覆試動作的訓練。GPU 是用來進行平行運算的顯示卡，常被用來加快這段學習。SuperMimic 想減少的，正是這段需要大量運算的練習。
UC Berkeley 研究團隊在十月二十日提交論文，並於翌日公開介紹，稱一張 GPU 訓練三小時後，已超過對照系統公布模型的動作追蹤回報。
方法不是讓機器人直接在真實世界練三小時，而是先從模擬器的紀錄學出一個能預測動作後果的模型，再透過這個模型改善控制策略。
官方所說超過千倍的 GPU 時數差距，對照的是不同硬體與資料規模的訓練。它有助理解運算需求如何下降，卻不能直接換成省電倍數或真機可靠度。
需要訓練全身動作控制的研究團隊，值得研究這種共用動力學的做法。若要機器人跨地形或搬運物件，則還超出這篇研究已驗證的範圍。
要知道少用運算的原因，得先看模擬器、世界模型與控制策略各自負責哪一段。
SuperMimic 如何讓控制策略在世界模型裡練習？
它先把模擬器產生的動作後果學成可預測模型，再讓控制策略沿著這個模型的回饋改善動作。這個模型關心的是身體如何運動，而不是生成一段看起來漂亮的影片。
依研究團隊的完整介紹，不同參考動作雖然看起來不同，執行它們的仍是同一個機器人身體。走路、蹲下與側滾，都會受到同一組身體結構與接觸條件影響，因此學到的部分經驗可以共用。
參考動作是訓練想追上的目標，控制策略則是決定各關節下一步怎麼動的模型。若每次換動作都重新花大量嘗試推估後果，共用的身體特性就不容易充分發揮價值。
模擬器與世界模型為什麼要分開？
團隊仍用 MuJoCo Warp 這個物理模擬器收集經驗，記下某個狀態下採取動作，之後發生什麼。世界模型再從這些狀態變化學習預測，提供另一個較便宜的練習環境。
這裡的可微分，意思是訓練可以沿著模型計算動作改變會如何影響結果。因為學得的模型能提供這條調整線索，原本處理碰撞與接觸的模擬器，就不必也能提供同樣的數學路徑。
所以它沒有把物理模擬器拿掉。模擬器負責產生可學習的經驗，學得的模型負責支援更有效率的策略改善，兩者在同一輪訓練裡互相配合。
世界模型也會跟著策略更新
整個循環先收集模擬紀錄，再更新世界模型，最後改善控制策略。因為策略改變會帶來新的行為，下一輪模擬紀錄也會改變，模型便能繼續學習新的動作後果。
世界模型只在一次策略更新的過程中固定，並沒有在訓練一開始完成後永久凍結。這個安排讓它能追上控制策略正在探索的狀態，減少一直用舊經驗推估新動作的落差。
策略會在模型裡向前想像三十二個控制步驟，另有價值估計器補上更遠的回報。這不是人類評審逐步打分，而是讓短段練習也能考慮較晚才出現的平衡或恢復效果。
價值估計器的用途，也出現在恢復平衡的比較。研究在模擬中對固定站姿施加速度擾動，帶有估計器的策略能逐步穩定下來，沒有它的策略則持續踉蹌。這說明只看短段追蹤回報，可能漏掉較晚才顯現的恢復能力。
模型運算較快也提供了另一項幫助。作者在實際訓練使用的批次範圍，量得想像步進比物理模擬器快，因此同一段時間能取得更多練習。但速度與回饋方法是兩項原因，不能只靠換一個快模擬器就假定會有相同結果。
這種流程改變了每次練習的成本，但要衡量省下多少，還得把兩邊的訓練條件放回來。
千倍 GPU 時數，和一張卡三小時怎麼對照？
千倍差距比較的是累積訓練用卡時數，並不代表一張相同顯示卡在所有工作都快上一千倍。它描述的是完成這項訓練所用的運算資源。
原始論文以 SONIC 公布的控制模型作比較，對方報告使用一百二十八張 NVIDIA L40 訓練七天。SuperMimic 則在一張 H100 上訓練三小時，超過該模型的正規化回報。
正規化回報是把動作執行取得的獎勵，除以可達到的最大值，整理成零到一的分數。提早結束的動作分數會較低，因此分數把追蹤品質與能否持續執行放在一起，和單獨量跑速的用途不同。
GPU 時數則把卡數與時間一起計入。同樣練一小時，使用一百張卡和一張卡，累積資源不同。它有助比較訓練規模，卻沒有把每張卡的售價、耗電與租用價格都換成同一單位。
三小時包含哪些工作？
研究把收集模擬經驗、更新世界模型與改善策略，都算進三小時的訓練循環。訓練之後另外執行的模型檢查，則沒有算在這個時間內。
因此，這個數字可以用來理解訓練成本，但不能直接當成從安裝軟體到取得完整評估報告的總等待時間。研究環境準備與後續檢查，仍是不同工作。
比較也有兩項重要差異。首先，雙方使用不同型號的顯示卡，實際用到多少硬體峰值效能沒有統一量測。其次，新方法使用的是約二百六十四點五六小時的公開動作子集，SONIC 原訓練資料則為六百一十一小時。
作者認為這些差異不足以解釋整個資源落差，但它們仍應保留在比較裡。因此，合理的結論是這套方法在研究設定下顯著減少訓練需求，而非把全部改善都當成相同硬體上的純演算法加速。
為何研究還做另一組對照？
為了進一步檢查機制，團隊另在較小的動作資料上，固定動作、觀察、獎勵與評估等條件，比較直接在模擬器訓練的方式。這讓讀者能看到，改善不只依靠跨研究的硬體數字。
研究在這組較小對照使用四十段動作、合計約二點四五小時。新方法在單卡約一點二小時達到指定回報，直接在模擬器訓練的比較組，在十八小時預算內沒有達到同一目標。這是另一組固定條件的測試，不能和大型動作庫合併計算。
這類對照的作用，是縮小可能造成差異的原因。它和大型動作庫的比較互相補充，不能把兩組測試中的不同倍數再相乘，變成一個更大的宣傳數字。
成本比較說明怎麼訓練，接下來的動作分母才告訴我們模型到底學會了多少。
129,514 個動作零失敗，指的是哪一次評測？
零失敗來自兩張 GPU 訓練九點八小時後的指定模擬評測，一張卡三小時的結果仍有二十五個失敗。兩個訓練預算回答的是不同階段的表現。
團隊用同一組十二萬九千五百一十四個動作，比較 SONIC 公布模型與自己的控制策略。前者有一百七十九個失敗，新方法增加訓練之後能覆蓋更多動作。
這些動作來自訓練資料，所以測到的是既有動作庫的覆蓋程度，不是機器人面對完全沒見過的新動作，仍能全部成功。動作數量很大，也不能把這個資料關係省略。
一個動作如何算失敗？
每個動作都從第一格開始執行一次，若過程觸發研究設定的終止條件，就被列為失敗。這個判定有固定規則，並非觀看影片後主觀決定它看起來順不順。
評測也固定了物理條件，包括地面摩擦，並移除觀察雜訊與環境參數的隨機變動。這有助讓不同策略面對相同問題，卻也表示它沒有同時測完真實世界可能遇到的所有干擾。
因為條件固定，零失敗可以用來描述這次動作庫測試，不能用來保證實體機器人在濕滑地面、感測器失準或外力碰撞下永遠不會跌倒。
動作分組也讓改善更具體。官方介紹中，原對照模型對側滾與翻轉等動作有明顯缺口，新的訓練則減少這些失敗。這比只說平均分數提高，更容易看出覆蓋範圍改變在哪裡。
但模擬中能覆蓋動作，仍需要另一種證據才能連到實體機器人。
延伸閱讀：Mundo 把房間照片變成可模擬世界：3D 場景、物理引擎與影片模型如何分工？
真實 Unitree G1 示範，補上了什麼證據？
作者讓同一個控制策略在實體 G1 完成數種動作，說明它不只停在模擬器畫面。這補上從學習環境走到真實機體的重要一步。
論文列出跳步、側滾、九十度翻轉與原地三百六十度翻轉。這些動作涵蓋移動、身體接觸地面與較劇烈的姿態變化，不是只挑一種站姿展示。
團隊表示，這些實體片段使用同一個通用動作追蹤策略，沒有為每個動作另外調參。這能支持策略具備跨動作使用的價值，而不是每支示範影片各自使用一個專門控制器。
不過，示範證據仍應和前節的評測分開。影片呈現的是選定真機動作，沒有把整個十二萬多個動作都在實體機器人上逐一重跑。
想像練習與真機執行的角色不同
這個世界模型學習的是模擬器提供的狀態變化，真機展示則觀察學出的策略能否轉移。前者降低訓練負擔，後者檢查部分行為能不能離開原本的模擬環境。
但真機測到的是選定動作，所以這些成功仍不足以描述模型掌握所有現實物理的程度。它增加了轉移可行性的證據，但地形、物件與不同機體的適用程度，仍要由相應測試回答。
能在真機示範幾種動作，仍有一段距離才會成為能應付地形與物件的作業能力。
哪些工作仍超出這次訓練結果？
研究只在平地學習動作控制，地形與物件互動仍是後續工作，因此不能直接當成家事或工廠解方。它改善的核心，是怎麼更有效率地學習全身動作。
例如側滾能完成，和伸手拿起易碎物品，需要的資料與控制目標不同。前者關心身體追上參考動作，後者還要處理物件接觸、力道與任務結果，本篇沒有把這些問題一併解決。
論文也承認，世界模型只從模擬紀錄學習。若未來加入真機資料，可能讓模型更貼近實際機體，但這是後續方向，不能預先當成已完成的改善。
下游控制介面的研究也還在初步階段。團隊嘗試讓同一模型支援速度要求，但這和接受任意語言命令、自己規劃所有工作不同。控制介面仍須對應明確目標。
目前公開材料包含論文、研究網站、影片與瀏覽器示範。這些足以研究方法與比較條件，但有互動展示並不自動代表完整訓練程式和模型權重都已開放下載。
對需要大量動作追蹤實驗的團隊，這項進步的意義是每次嘗試可能不必先準備大型訓練叢集。對需要實際作業的團隊，則應先確認自己的問題是不是動作控制，再決定哪些部分能借用。
先把需求對準動作追蹤或物件作業，再閱讀相應的資料與評測，才不會把訓練效率的進步，誤當成所有機器人工作都已跨過落地門檻。
延伸閱讀：Hy-Nomas 開放互動影片世界模型：文字、相機與 280 案例評測，單張 4090 能做什麼？
SuperMimic 常見問題
單張 GPU 三小時就達到零失敗嗎？
三小時單卡模型在指定動作評測仍有二十五個失敗。零失敗來自兩張卡訓練九點八小時之後，且限於研究設定的模擬條件。
世界模型需要一個可微分的物理模擬器嗎？
不需要。方法從一般模擬器收集紀錄，再學出可微分模型，訓練梯度穿過的是學得的模型。
能直接讓家用機器人做家事嗎？
研究聚焦平地全身動作追蹤，尚未涵蓋物件互動。真機示範不能當成家事或搬運工作的完成證明。
