RobotAgentBench 測家用機器人自主性：會抓物，為何仍不會自己把家務完成？
RobotAgentBench從任務發現到失敗恢復評估家庭機器人。拆解50種模擬配置、15.4場景進度分數、混合控制與真機子集，理解操作和自主家務的差距。
RobotAgentBench 把家用機器人的問題從「這個杯子抓不抓得起來」，移到「客人要來了，機器人會不會自己知道要做什麼」。原作者在 2026 年 10 月 28 日介紹這套評測，讓任務發現和執行結果一起受檢查。
人在說準備迎賓時，通常不會把清沙發、整理桌面與準備點心逐一列出。機器人得先看房間，再從情境選工作，執行失敗後還要知道下一步如何調整。
這些能力很難由一段抓取影片判斷，因此團隊以一個真實場景重建出 50 種模擬配置。測試同時拆開基本能力，也用沒有明示待辦的開放情境檢查整段家務流程。
官論文表 1 中，程式與學習控制混合的系統得到 15.4 的開放情境進度分數，高於全程式 Codex 的 8.4 與 π.5 的 1.1。但這些是可得部分分的場景分數，不能當成完整家務成功百分比。
我認為這份研究值得看的，是失敗發生在哪個交接環節，而不是把榜首換成另一個「機器人已懂家務」的結論。能發現事情、會提出計畫與真的完成動作，仍是不同關卡。
評測如何把這些關卡拆開，會決定我們能從 15.4 分讀出什麼。
RobotAgentBench 從家庭需求出發，先拆開五種能力
評測把操作、任務發現、上下文推理、失敗恢復與擾動應對分開，因為一項強不代表其他項也可靠。原作者專案用實際家務需求串接這些能力，避免只測被明確指定的抓取。
操作能力最容易理解，例如開冰箱、拿杯子或移動物品。但如果使用者只說朋友要來，機器人還得看出哪些地方需要整理，這就是任務發現要補的空缺。
上下文推理則關心選擇是否符合需求。例如，房間有多種飲品，機器人要依情境挑對目標，而不只是靠近任何一瓶。這項測試看正確物件選擇，與完整端起飲料交給客人仍有距離。
失敗恢復從抓取落空或物品倒下等狀態開始，檢查後續是否會調整。擾動測試則改變光線、物品位置或加入人類介入，讓同一目標不能只靠重播原本路徑完成。
一個家庭重建出多種配置，不是五十戶真實住宅
團隊先由真實房間建立模擬場景，再產生 50 種配置，並由人檢查幾何品質。它擴大可重複測試的變化範圍，但沒有宣稱已在五十個真實家庭部署機器人。
評測有 90 個原子動作，可組成 18 個短任務、8 個長任務，另有 4 類開放情境。這些層級互相組合，所以不能把所有數字直接相加，當成彼此無關的任務總數。
論文提供 101.8 小時的訓練示範，主要讓模型取得可重用技巧。當新情境出現時，系統仍須自己決定用哪個技巧、什麼順序，以及做完後還剩什麼工作。
因此，會照著「拿杯子」的示範操作，是進入家務的必要能力，卻沒有涵蓋整個需求。能力拆開之後，機器人停住的原因才不會全被算成不會抓物。
開放情境進度分數，保留了完成之前的失敗
在迎賓或收拾房間的情境中，系統要自行推導待辦，再靠物理檢查點累積進度。原始論文把開放需求分成準備晚餐、迎接客人、準備離家與整理房間，沒有直接附上完整待辦清單。
這樣的設定讓「先做哪件事」也進入測試。假設桌上有垃圾、沙發有雜物，系統只會取杯子，並不代表它能從迎賓需求推導出清理順序。
相反地，如果系統寫出完整計畫卻一直抓不起垃圾，也還不能交付。評分要依實際物理進展，而非只看模型聲稱完成了多少工作，才有機會辨認這種落差。
接觸目標、完成子工作與完成整個情境，分別計分
任務發現測試會在有限接觸預算內，檢查系統是否找到並碰觸相關物件。這可以觀察探索方向，卻沒有把碰到物件自動當成物件已被收拾。
開放情境則記錄多個檢查點的進度，也保留哪些工作被啟動、啟動後做到多少，以及發生失敗後是否有恢復。部分完成的系統，因此不會和完全沒有行動的系統得到一模一樣的描述。
每個任務或情境評估 30 個實例，但不讓代理無限制嘗試。開放情境若連續 120 個模擬秒沒有進展，就會停止，讓停滯也成為結果的一部分。
時間限制在這裡有實際意義。反覆做同一個失敗抓取，看起來像機器人很忙，卻可能擠掉其他該完成的家務；如果只看單次動作，就會漏掉這種整段流程的問題。
探索過程也有資訊限制。代理可取得相機、機器人狀態、情境文字與逐步揭露的地圖，但不是直接拿到一份標好所有工作目標的答案。需要收拾的內容，仍須從可見環境與需求中判斷。
地圖能描述已知靜態空間和走過的路，並不等於替代理規畫好下一條路線。這讓探索成為有成本的行動：花時間觀察可能找到新工作，也可能消耗本來可以執行操作的機會。
原論文案例也展示這種情況：有的模型沒有啟動任何工作，有的程式代理則反覆嘗試同一子任務，直到時間結束。兩者都沒有充分完成需求，但失敗原因不同。
部分分能揭露系統做到哪裡，卻不能回答整個情境有幾次完全交付。
混合控制得到 15.4，改善發生在規畫與動作交接
官論文的混合系統把程式控制與學習政策放進同一執行器，讓兩種方法接手擅長的片段。政策在這裡指把觀察轉成動作的控制模型，不是管理規則。
研究同時比較視覺語言動作模型，也就是把影像、文字接到機器人動作的模型，以及帶世界預測的控制方法。它們與完整代理的差別，在於後者另外連接規畫、工具和驗收。
規畫者先根據需求挑工作，執行者把工作變成動作，檢查者再觀察是否推進。若任一交接沒有做好，前一個環節表現再好，也可能在最後留下未完成家務。
下表依 2026 年 11 月 1 日查閱的原論文表 1，將兩種不同分數分開列出。
| 系統 | 五項能力平均分數 | 開放情境進度分數 |
|---|---|---|
| Codex＋InternVLA-A1.5 混合執行與驗收 | 48.5 | 15.4 |
| 全程式 Codex 代理 | 31.0 | 8.4 |
| 單獨 π.5 控制模型 | 11.9 | 1.1 |
五項能力平均描述分開測試的表現，開放情境則把能力放回一整段需求。因此，48.5 與 15.4 不是同一群試次的兩種成功率，也不能用其中一欄代替另一欄。
表中的操作分數使用 18 個短任務，8 個長任務另行評估。這個範圍也影響讀表，不能因為系統擁有較大的任務庫，就假定每欄都把所有任務一次算完。
讓程式移到有利位置，再讓控制模型抓取
混合方法的一個例子，是先用程式控制把夾爪移到物品附近，再交給學習政策完成抓取。它讓動作模型從較適合的位置開始，減少直接從陌生視角摸索的負擔。
這解釋了為何完整系統可能改善，而不只是換一個語言模型。觀察介面、可用工具、執行方式和驗收都一起影響結果，榜單比較的是這些組合。
研究還比較只在控制模型之後加檢查，或只讓程式代理先規畫的組合。這樣可以觀察改善是來自選對任務、修正動作，還是兩者協同，而不必把所有提升都算給同一個元件。
其中，只加檢查的方式仍受原有控制能力約束。若執行器本來就難以完成某種抓取，知道失敗不會自動產生另一套有效動作，檢查和修復必須有實際可用的控制方法相接。
同樣地，擅長寫規畫不保證實體控制穩定。夾爪可能到達大致位置，卻仍因接觸或姿態失敗，所以推理能力與機械動作之間需要反覆觀察與調整。
15.4 支持這種交接值得研究，卻仍顯示開放家務距離穩定完成有明顯差距。
延伸閱讀：Gym-Anything for Robotics 公開 RoboWorld：AI 建模擬環境，測試 0% 要怎麼讀？
失敗後改工具有幫助，真機還有另一層落差
團隊用多輪經驗改善控制工具，但這種改進仍發生在指定代理與評測設定內。研究中的遞迴自我改善，是讓代理保留執行經驗、修改工具與控制程式，並非宣稱模型自行訓練新權重。
例如，首次嘗試可能用單一步驟抵達目標姿態，卻超出關節可行範圍。後續改進把它拆成中間位置，使控制工具更能完成動作，這類修正可以在下一輪重用。
論文進行十輪，報告最後一輪的表現。因此，已累積經驗的系統與首次進入場景的系統，應保留各自設定，不能把改善後數字當成毫無準備就能取得。
真實測試是選定子集，不是整套模擬的等價替身
作者另外選取部分任務與四類情境中的代表內容，對三種系統進行模擬與真機對照。每個環境各評估 30 個實例，訓練示範數量也做對應安排。
結果支持研究在這些子集觀察模擬與現實的差距，但沒有把全部配置和所有模型都搬進真實住家。因此，真機部分可補證據，不能替整張模擬榜單背書。
實際家庭還會有不同家具、材質與人員活動。這些因素之所以重要，是因為動作需要接觸世界，模擬裡看似可行的移動，在真實場景可能得到另一種回傳。
真機子集與模擬結果要分開保存，才能知道是推理、控制還是環境差異帶來落差。
使用 RobotAgentBench，先選可重現的配置與完整流程
公開程式讓研究者接入自己的代理，但實際模擬仍依賴相容 GPU、原生環境與第三方條款。GPU 是處理大量平行運算的晶片，這裡除了模型，也涉及物理模擬的執行。
官方重現說明區分只看任務目錄與真正啟動環境。前者可不使用 GPU，後者則需要 Linux、容器與相容的 NVIDIA 模擬環境，不能把安裝程式成功當成已跑完測試。
程式採 Apache 2.0，但場景資產、模型與模擬平台另有條款。下載評分程式，不表示所有外部元件都能以相同方式使用。
公開版本也提供保存好的初始配置，方便不同代理重跑同樣條件。不過，官方明寫這些發布配置不是論文結果所使用的原始實例，重現時應記錄具體版本與配置。
訓練資料的製作與正式評估也要分開。產生示範時，作者可用完整模擬狀態與控制輔助，這有助於建立示範，卻不是允許受測代理在評估時直接讀取標準答案。
不同模型接入環境時，還要按原生介面調整輸入。有的模型無法使用全部共同觀察，因此比較結果除了模型能力，也反映適配方式，不能只看名稱就假定每個系統拿到的資訊完全等價。
如果改了觀察、工具或起始位置，分數變動就未必只來自模型升級。能把條件固定，才有機會看出新方法改善了哪個家務環節。
對家用機器人團隊而言，能對照相同情境追查失敗，比只引用一個最終分數更有價值。
延伸閱讀：SO-101 Bench v1 公開：模擬排名與真機一致，為何成功率仍不能照搬？
RobotAgentBench 常見問題
RobotAgentBench 測了五十個真實家庭嗎？
它由一個真實家庭場景重建並產生五十種模擬配置，另有選定真機子集。數量代表可測環境的變化，不等於五十戶家庭已長期使用。
15.4 分就是 15.4% 家務成功嗎？
這是開放情境的進度分數，會保留部分完成。完整交付、啟動工作和完成某個物理檢查點，是不同結果。
自我改善會重新訓練模型嗎？
這份研究主要改善代理工具與執行經驗。工具變得更好用可以提升表現，但不能直接描述成模型已自主更新自身權重。
這能用來決定現在是否買家務機器人嗎？
它能幫你辨認要追問哪些自主能力，卻沒有提供消費產品的全屋可靠性認證。選購仍要看具體產品在自己需要的環境與工作範圍內，是否有可核對的交付證據。
可以從原作者任務與計分設計了解同一需求如何拆成可觀察進度，再看代理能否在失敗後完成下一步。
歡迎免費訂閱 AI 郵報，持續追蹤機器人評測與具身 AI。
