uni-robot-agent 開源研究：同一個 Qwen 換工具框架，機器人表現為何不同？
uni-robot-agent以一致觀察、工具與執行回報改善機器人代理互動。解析Qwen進度分數1.90至31.39、25%成功率，以及RoboDojo、實體任務與深度資訊的比較限制。
uni-robot-agent 想讓不同模型透過一致的工具與回饋操作機器人，讓研究者先分清失敗來自模型判斷，還是執行環境。
看得到相機影像，並不代表代理知道動作是否成功。若舊影像、重複指令或不清楚的失敗回覆混在一起，推理能力也很難穩定轉成動作。
OpenRUA 在 2026 年 11 月 3 日介紹這套開源框架，未改模型權重，也就是模型訓練完成後的參數，便讓 Qwen 在 RoboDojo 的進度分數由 1.90 增至 31.39。
這裡的分數會計入部分進度，完整成功率另為 25%。同一框架下的 GPT-6 Astra 分數仍更高，因此不能把不同框架的舊基線讀成全面超越。
對機器人研究團隊，這提供統一互動紀錄與改進工具回饋的起點。它距離可在任意真實場景放心自主運作，仍有明確差距。
先看觀察、工具與執行回報如何連成循環，才能理解成績改善來自哪個研究設定。
uni-robot-agent 如何連接模型、工具與機器人？
機器人代理的工作，不只是回答一個問題，而是讀取環境、決定動作、執行，再根據新觀察調整。
如果模型不知道影像是哪個時刻拍的，也不知道前一個動作是否結束，就可能在錯誤前提上繼續推理。這使工具框架本身成為能力的一部分。
OpenRUA 的 uni-robot-agent 把這段互動整理成一致介面，讓模型透過工具取得觀察與控制機器人。
研究重點是代理框架，也就是模型之外的執行安排。這次成績改善沒有修改模型權重，因此不應寫成推出了一個重新訓練的新機器人模型。
相關論文於十一月一日公開，團隊在十一月三日介紹專案。兩個時間分別代表論文與專案推介，不能把後者當成論文首次發布。開源專案讓外部團隊可以檢視介面及重跑實驗，但是否能在自己的設備上重現，仍有待實際測試。
一個任務拆成觀察、執行與回報
以把物件放進容器為例，模型先需要確認物件位置，再產生可執行的動作，接著觀察夾取與放置是否發生。
若抓空卻只收到「指令已送出」，下一步就可能直接移動到容器上方。執行回報因此必須讓模型知道實際進度，而不只是工具接受了請求。
這項設計把部分失敗從模糊的「模型不會做」，拆成可以檢查的事件。研究者能回看它是否看錯位置、選錯工具，或在動作失敗後沒有修正。分類仍需要依紀錄判讀，不能把所有錯誤都歸給某一個環節。
一致的快照與執行回報，解決什麼問題？
框架強調不可變的觀察快照，也就是取得後不會在同一筆紀錄裡悄悄換成另一張影像。這讓模型引用的畫面與研究者回查的畫面一致。若每次查同一個影像識別都可能拿到新內容，判斷錯誤的原因就很難重現。
快照也需要與機器人的狀態配對。相機畫面中的位置、夾爪狀態與座標參照，必須能對應同一個動作階段。否則模型可能把舊畫面的物件位置，套到已經移動過的場景，之後的失敗便不只是視覺辨識問題。
執行回報則保存動作的結果，讓代理確認工具執行到哪裡。如果動作沒有完成、機器人停滯或進度不明，系統應提供可辨識訊號。這能減少代理反覆送出同一類動作的情況，但不是對所有實體設備提供絕不重複執行的保證。
長任務還會產生大量影像與文字。框架需要整理上下文，讓模型保留影響下一步的資訊，同時控制輸入負擔。壓縮若漏掉已完成的步驟或關鍵失敗，模型仍可能重做，因此上下文整理也需要與原始紀錄一起驗證。
這些安排的共同目的，是讓模型看見一段有順序的工作，而不是零散的工具回覆。當觀察與回報可以回查，研究者才有辦法比較兩種模型在相同條件下如何決策，也較容易發現工具介面是否給了不一致的資訊。
不過，框架並未消除硬體差異。夾爪、相機校正、可達範圍與控制精度，仍會限制動作結果。即使文字介面一致，換一套設備也不能直接沿用所有成功率，必須重新確認工具語意與現場條件。
RoboDojo 的分數與成功率應如何比較？
主要模擬評估使用 RoboDojo 的四十二項任務，涵蓋五個能力面向。
每項任務採三個隨機種子、兩種配置，共形成二百五十二次執行，每次執行各有三小時的實際時間預算。
彙總時先取得任務結果，再於各能力面向內平均，最後讓五個面向等權。因此不能把所有執行直接混算，也不能省略條件後只比較醒目的數字。
研究同時報告進度分數與完整成功率。進度分數會承認部分子目標已完成，完整成功率則要求達成整個任務。代理把物件抓起卻沒有放到指定位置，可能得到部分分數，但不應被算成一次完全成功。
Qwen3.8 Flash Next 在原先 RoboProbe 條件的進度分數為 1.90，換用 uni-robot-agent 後為 31.39，完整成功率為 25%。
這支持工具框架會影響同一模型能完成多少工作，但不表示模型權重本身因此增加了同等幅度的能力。
同一框架下，GPT-6 Astra 的進度分數為 51.90，完整成功率為 46.67%，仍高於上述 Qwen 結果。
若拿 Qwen 的新框架成績，去比較 Astra 在不同舊協定下的 28.97，就會把框架與模型差異混在一起，得到錯誤的勝負結論。
研究另外呈現加入深度資訊等條件的結果，這些有助於了解感測輸入的作用，但需要單獨標示。主表的 31.39、深度條件的 35.89，以及其他抽樣分析的數字，來自不同設定，不應拼成同一次測試的連續改善。
因此，讀取這類結果時可以先固定模型，再看框架改動。接著固定框架，再看模型差異。這種拆法無法讓所有比較完全公平，卻能避免把多個變因同時更動的結果，誤認成單一因素造成的提升。
三小時預算也提醒讀者，機器人任務不只消耗生成 token。實際動作、觀察與重試都需要時間。在同樣時間內做出更多有效嘗試，可能影響最終完成度。評估速度時，應看完整互動流程，而不只是模型回覆的延遲。
十九項實體任務，為何不能忽略深度資訊？
專案另以十九項真實機器人任務測試，讓模擬之外的設備誤差與環境條件進入評估。這比純軟體工具更接近實際操作，但樣本仍是有限且受控的任務，不能直接代表家庭、工廠或任意陌生場景的可靠度。
專案頁中的 Qwen 與 Astra 實體比較，兩者使用 D405 相機的深度資訊。
研究也列出其他機器人策略的結果，但部分策略僅使用 RGB 影像。感測資訊不同，便不能只按總分宣稱模型本身全面勝出。
深度資訊能提供距離與空間線索，對夾取或放置可能相當重要。若一方得到深度、另一方沒有，觀察條件已經不同。這不是說比較完全沒有參考價值，而是它回答「整套設定的表現」。沒有單獨回答「模型哪個更強」。
真實任務也會受物件材質、遮擋與擺放影響。同一工具指令在模擬裡可能穩定完成，在現場卻可能滑動或碰撞。因此，成功案例最好搭配原始觀察和動作回報閱讀，才能知道代理有沒有正確察覺結果，而非偶然完成。
對打算導入的團隊，更適合先重現受控任務，再逐步改變物件與配置。每次只改少量條件，能讓失敗原因更容易定位。直接從示範跳到開放環境，反而可能失去這套可回查框架原本帶來的研究優勢。
失敗類型與成本，提供什麼訓練線索？
作者將失敗整理成視覺、定位、幾何程式與具身推理等類型。這讓研究者不必只看最終成功率，也能檢查代理在哪個步驟失去正確方向。例如看對物件卻算錯座標，和完全認錯物件，需要不同的改進方式。
這些分類是分析工具，並不自動證明某一類缺陷造成整個模型的所有失敗。研究中的跨模型觀察也混合不同設定，較適合提出後續假說，不能把相關性直接寫成明確的能力因果排名。
若某個模型重試特別多，可能是觀察不清楚，也可能是工具回報不夠具體。
只增加推理時間不一定能改善，因為模型可能一直在同一個錯誤前提上思考。應先回看第一次偏離任務的紀錄，再決定修改模型提示、工具或感測方式。
成本也需要同樣拆開。模型輸入輸出費用、工具執行時間與硬體占用，對不同任務的影響不一樣。一次回覆便宜的模型，若需要更多重試，整段任務未必更省。較快完成的代理，也可能在其他配置下失去優勢。
因此，框架的另一個用途是收集可供後續訓練的軌跡，但這仍是研究方向，不是這次已完成的權重更新。把「能累積資料」與「資料已證明能訓練出更好模型」分開，才不會提前把未來工作算進目前成果。
此外，回報應保留失敗與未完成任務，而不是只挑成功影片。完整任務分母能顯示代理最常在哪些情況停止，也讓後續研究有一致的比較起點。這對機器人尤其重要，因為一段流暢影片很難呈現所有重試與等待。
先確認任務邊界，再擴大自主範圍
在正式比較之前，團隊還應明確寫下任務何時算開始與結束，以及哪些動作需要人接手。這些條件會影響成功率的意義：若某次中途由人調整物件，後面即使完成，也不能與完全自主的一次執行直接混算。
可回查的紀錄也應包含等待與停止，而不只有模型發出的指令。當代理因為缺少觀察而停下，與持續嘗試卻沒有進展，是不同失敗。將兩者分開，才能知道下一步應改善輸入資訊、工具回報，還是模型的決策。
最後，統一框架讓比較更有基礎，並不意味不同任務已經完全同質。精細插入、物件堆疊與移動到指定位置，各有不同的感測和控制需求。研究者仍應看任務類型的結果，避免總平均掩蓋最關鍵用途的不足。
uni-robot-agent 常見問題
這次是否訓練了一個新的機器人基礎模型？
主要成果是統一代理框架，成績改善沒有修改所比較模型的權重。專案提出互動紀錄可支援未來訓練，但不能把這個方向寫成已完成的新模型成果。使用時仍要確認所接模型與工具版本。
分數三十一點三九是否等於三成任務成功？
不是。該分數包含部分進度，完整成功率另外是 25%。兩者描述不同結果，不能互換。若工作要求所有步驟都完成，就應優先看完整成功率，並回查未完成任務的原因。
真實任務成績能否證明家用機器人已經可靠？
不能。十九項受控任務提供實體操作證據，但沒有覆蓋任意家庭情境。不同感測與硬體條件也會改變結果。這項研究適合用來建立可比較的測試流程，仍需要針對部署場景重新驗收。
先建立可回查的互動紀錄，再驗證自主能力
uni-robot-agent 提醒機器人研究者，模型能否有效行動，也取決於它收到什麼觀察、使用什麼工具與如何確認結果。
把這些條件固定並保存，才有機會知道下一次改善來自哪裡，也能讓展示之外的失敗成為可用證據。
想持續追蹤 AI 研究方法與可驗證的技術進展，歡迎免費訂閱 AI 郵報。
延伸閱讀：RobotAgentBench 測家用機器人自主性：會抓物，為何仍不會自己把家務完成？
延伸閱讀：FineART 開放機器人資料與模型：40,543段示範，子任務標註為何重要？
