Gym-Anything for Robotics 公開 RoboWorld:AI 建模擬環境,測試 0% 要怎麼讀?
Gym-Anything for Robotics以代理建立RoboWorld物理模擬。解析25套模擬、200個環境、測試0%與部分獎勵,以及審查與機器人學習的限制。
機器人要學做事,先得有能反覆試、也知道何時失敗的環境。若每一套模擬都靠專家手工建,訓練資料就很難跟著需求擴大。
CMU 研究者在 2026 年 10 月 30 日介紹 Gym-Anything for Robotics,讓程式代理建立物理模擬,再由其他代理審查與修正。這次焦點是機器人操作。
團隊建出 RoboWorld,包含二十五套模擬與二百個訓練、測試環境。液體、布料和聲音等現象,也被放進工作任務裡。
不過,最難的二十五個測試任務,受測前沿模型沒有完整完成。最佳平均獎勵〇點〇六反映部分進度,不能讀成百分之六成功。
研究機器人訓練的人,可追蹤環境與驗收如何建立。想據此判斷所有機器都不能工作的人,則要先看難度與測試範圍。
先看代理怎麼建環境,再看它如何證明這些環境值得拿來測模型。
Gym-Anything Robotics 如何把建模擬變成代理工作?
場景、物理與任務能以程式描述,讓程式代理成為模擬製作的一環。程式代理是能讀寫程式、使用工具並根據執行結果繼續工作的 AI,不只是產生一段操作說明。
依 研究專案頁,Gym-Anything for Robotics 將這種能力放進機器人環境製作。研究論文於十月二十九日公開,作者隔日介紹這套流程與 RoboWorld。
這與先前處理軟體環境、即時互動的研究有不同對象。這次要建立的是可以讓物件碰撞、抓取與改變狀態的物理模擬,不能把畫面像真實操作,就當成已完成可用環境。
看起來像工作,還需要真的能互動
例如酒瓶、杯子與手臂同時出現在畫面,只能說明場景有這些物件。如果要研究倒液體,還需要動作能改變液體狀態,並有方式辨認是否倒到指定位置,否則無法對任務成功作判斷。
這是理解研究目標的例子,本文沒有獨立執行該場景。研究的重點在於,代理參與外觀、物理行為、可執行動作和任務結果檢查方式的建立。
這樣的流程若可沿用,研究者就有機會把製作成本從每次全部手工處理,改成審查與修正代理產物。但省下多少工時仍需測量,專案公開本身沒有替所有團隊保證相同比例。
因此,程式能執行還不夠,模擬需要有對得上工作的物理與驗收。

建立、審查、修正,如何避免只做漂亮展示?
研究要求製作代理提出證據,再由審查代理檢查物理、可完成性和評分。因為建環境與評環境是兩件事,把兩者分開,才能避免只根據成功執行程式就認定任務合理。
依 原始論文,製作模擬有四個審查代理,製作任務有六個,流程安排三輪修正。它們針對外觀、動態、可解性與驗收等項目檢查,並將問題交回製作端。
可完成性與評分器,要一起檢查
可完成性問的是環境裡是否存在達成目標的做法。評分器問的是程式用什麼條件認定成功,兩者若有落差,就可能出現明明做完卻沒得分,或沒做完反而被接受。
假設任務是把物件放入容器,只檢查手臂有沒有移動,便沒有驗到放置結果。反過來,如果成功條件需要物件到達手臂根本碰不到的位置,也不能把每次失敗都歸給控制能力。
這個假設說明為何需要審查流程。它的作用是讓錯誤有機會被指出與修正,並非保證代理寫出的物理和判斷必然正確。研究者仍需要查看程式與原始證據,才能知道某項環境是否符合自己的用途。
協助示範能證明什麼,不能證明什麼?
專案部分示範允許外力、輔助手或其他機制協助完成。這能用來檢查物理效果與工作流程,但不等於受測模型已靠自己的動作完成全部任務。
因此,影片中看到物件到達終點時,要同時看有沒有額外協助。如果示範目的只是驗證場景可動,就不應拿來替模型的自主成功率加分,兩種證據應保留原本用途。
如果審查指出物件穿過容器,修正碰撞設定之後,原先的示範也需要重新看待。因為原本能到達終點,可能依賴了不合理的物理捷徑。這是假設性的審查例子,說明修環境不只改畫面,也可能改變任務是否可解與既有結果的意義。
即使畫面漂亮、操作順暢,仍要問控制者是誰、可取得哪些資訊,以及成功由什麼條件判斷。這些資訊比影片是否像真實機器人,更能決定測試結果能否被沿用。
環境通過檢查之後,團隊再安排不同難度的工作。
二十五套模擬、二百任務,怎麼從工作需求選出?
選題先拆解實體工作,再從候選範圍挑出實際建立的模擬。團隊參考一千多種職業與數百種日常活動,拆成三萬多個動作,之後挑選一百二十組候選,再建出二十五套。
候選規模與完成規模要分開。三萬多個動作是研究整理的工作範圍,並不代表已經建立同樣數量的模擬,也不是同樣數量的實體工作已能自動執行。
一套場景,安排多個難度
RoboWorld 的二十五套模擬各配八個任務,合計二百個環境。其中二十五個最難任務作為測試,其餘一百七十五個作為訓練環境。
這種安排讓同一類物理工作能保留較易與較難版本。研究者可以先觀察系統能否在較簡單條件下進步,再看它能不能跨到更難的完整工作,而不只對著一次成功影片判斷能力。
不過,二百個環境並不是二百台真機。它們仍由研究流程建立並在模擬中執行,物理近似、可用觀察與動作介面,都會影響最後看到的成績。
團隊以工作與活動資料找方向,也不等於已算出實際經濟效益。一件任務在職業分類中很重要,與機器人在現場能否穩定完成、是否需要人幫忙,還有中間要驗證的步驟。
所以,這份工作清單的用途是擴大研究題材。若要估計產業採用價值,還需要把具體任務放回真實材料、設備與流程,不能直接把職業規模當成可取得的收入。
選了什麼工作之外,測試難到什麼程度也會影響成績。
測試 0% 和獎勵 0.06,為何不能混用?
完整成功要達成全部條件,獎勵則可以記下尚未完成的進展。在二十五個高難度測試任務中,研究評估的前沿模型沒有取得完整成功,卻仍可能完成中途某一段。
最佳的 Claude Opus 5.5 xHigh 平均獎勵為〇點〇六,GPT-6 Astra 為〇點〇〇九,GPT-6.1 Terra 為〇點〇〇二。這些是原作者在特定設定下的結果,並非本刊獨立重跑。
低獎勵可以定位問題,不能換算成成功比例
獎勵來自環境定義的進度,不能把〇點〇六直接乘成百分之六完整成功。不同工作可能有不同中途條件,只有先了解怎麼給分,才能知道成績對應哪一段操作。
例如物件被推近目標,但還沒放好,可能已取得部分進度。這類假設能說明獎勵與完成為何要分開看,實際給分仍應回到該環境程式,不能由讀者自行替各動作分配比例。
同時,零完整成功也不等於模型什麼都沒做。它告訴我們的是,在本次高難度測試與成功條件下,整條任務尚未完成,無法單靠這個數字解釋每個失敗原因。
較容易的任務,結果並非全部為零
研究另在二十五個較容易的訓練任務比較,最佳成功率為百分之三十二。這個範圍不同,說明任務難度與測試選擇會改變結果,也限制了「所有任務都失敗」的說法。
不能把高難度二十五題的零成功,擴成全部二百環境的結果。更不能據此宣稱所有實體機器人都無法工作,因為本研究沒有對每種硬體、專門控制模型和現場流程完成同樣比較。
讀榜單時,先確認任務集合、可用資訊和完整成功的條件,再看名次。這樣即使分數很低,也能知道研究究竟找到了什麼尚未解決的困難。
能看見卡住位置後,模擬也能用來研究模型如何學習。
重試、教練與示範資料,哪種改善仍有限定?
研究透過不同資訊與學習方式,觀察模型怎麼從失敗中改善。重複嘗試、接受教練提示與使用示範訓練,改變的環節不同,不能全部叫成模型自動學會。
其中一種做法是在對話裡保留先前嘗試,讓後續決策參照失敗經驗。這屬於上下文學習,模型利用提供的內容調整下一步,並沒有因此更新權重,也就是訓練後保存的參數。
教練知道更多,成績就要保留資訊條件
研究也使用能讀取額外模擬狀態的教練,提供學生模型提示。額外狀態可能讓指導者更容易看清物件與環境,所以學生改善時,也應把這份額外協助算進方法。
如果未來要移到真機,便要另外確認那些資訊從哪裡取得。模擬器直接知道的狀態,不代表相機和感測器在現場就能同樣精準地提供,這是採用前仍需跨過的差異。
自我練習與教練提示可以用來研究回饋是否有用,但不能只看最後的成功片段。要分清前面嘗試了多少次、得到哪些提示,才知道改善靠的是哪一部分。
程式產生示範,也還有任務範圍
另一條路是讓程式控制策略產生示範,再拿來訓練 π.5 這類機器人控制模型。這把模擬從評分工具延伸成資料來源,但資料是否可用,仍取決於示範與目標工作是否相符。
研究前四類學習方法的比較涵蓋十一套模擬,程式控制示範則聚焦兩個禮物盒任務。不能把這些改善寫成所有二十五套環境都已同樣學會,更不能當成全部真機任務的保證。
示範若帶著額外協助,也需要保留標記。研究者才能決定它是在教目標動作、檢查物理可行性,還是評估自主操作,避免不同用途的資料混成同一份成功紀錄。
這些改善仍需回到相同資訊條件,才能決定能否移到真機。
延伸閱讀:FineART 開放機器人資料與模型:40,543段示範,子任務標註為何重要?
把環境證據和模型成績分開,才知道能否沿用
我建議先選一項物理工作,核對模擬如何驗證,再比較相同資訊下的模型。這是依研究提出的使用方向,本文沒有執行程式或完成真機部署。
對研究團隊,這套流程的價值在於能檢查建立過程,而非只拿到一段展示。若環境、評分與協助條件能被清楚保存,後續更換模型時,才比較容易知道差異出在能力還是測試本身。
需要現場採用的人,則還要面對材料與設備變化。模擬結果可以提供問題與比較起點,但不能直接代替現場的完成驗收,尤其當感測方式與可用動作已經不同。
能重現工作與驗收,模擬才會成為訓練和比較的共同基礎。
Gym-Anything Robotics 常見問題
0% 代表二百個任務全失敗嗎?
這是二十五個高難度測試任務的完整成功結果。另有訓練環境,較容易的二十五題比較中最佳成功率為百分之三十二,範圍不能混用。
平均獎勵 0.06 可以當成 6% 成功率嗎?
獎勵記錄的是任務定義的部分進度,完整成功要符合全部條件。解讀前應先看評分程式,不能直接把小數改成完成百分比。
官方影片做到終點,就是模型自主成功嗎?
部分示範有外力或其他協助,必須保留它們的用途與條件。影片能展示環境可動,不代表受測模型已靠自身觀察與動作完整完成。
讓模擬有證據,才有下一輪學習
RoboWorld 把製作環境、審查和學習接成一條研究流程。它讓困難不只停在「機器人做不好」,還能繼續問場景是否合理、評分是否對準工作、模型又需要什麼回饋。
下一步先把一項任務的觀察、動作與成功條件讀清楚,再決定是否沿用。把這些前提保存下來,新模型的進步才有共同基準。
延伸閱讀:NVIDIA SimReady Central 開放 2,000 多個 3D 素材:機器人模擬為何不能只求逼真?
歡迎免費訂閱 AI 郵報,持續追蹤機器人模擬、資料與原始研究。