AA-Robotics 首版評測語言模型控制手臂：最高分之外，時間與費用才是門檻

AA-Robotics 把語言模型接到真實機械手臂，讓它們透過攝影機觀察，再寫程式完成桌面任務。

Artificial Analysis 公開首版八項任務，包括按鈕、倒水、收積木與量測盒子。

這讓模型的空間理解有機會接受實際動作檢查，但測試也顯示，完成時間與費用仍然很高。

GPT-6 Astra 得分領先，不等於它適合生產線，因為這個研究預覽同時提供了效率差距的證據。

對追蹤實體 AI 的讀者，這份榜單最有用的讀法，是把結果、花費與完成判斷一起比較。

評分如何給出，會直接影響我們對最高分的理解。

AA-Robotics 的八項任務在測什麼？

首版用簡單桌面目標，觀察模型能否把看見的場景轉成動作。

Artificial Analysis 的官方介紹把 AA-Robotics v0.1 定位為研究預覽。它測的是語言模型透過程式工具操作真實手臂，不是完整工業機器人的交付評比。

八項任務包含按鈕、放置玩具、倒飲料、收積木、形狀配對、寫字、堆塔與量測盒子。事情看似日常，卻同時考驗位置、接觸與完成判斷。

能說出答案，還要讓物件真的到位

按鈕任務的目標是讓按鈕閃亮，倒水則要求液體進杯子、沒有灑出且沒有損壞。兩者的差異說明，理解指令並不等於能控制每個動作。

假設模型知道杯子應在瓶口下方，仍需要把這個關係轉成機械手臂可執行的路徑。位置稍有偏差，文字上的正確計畫就可能在現場失敗。

因此，這份測試讓空間理解有了可觀察結果。模型不能只用一段合理敘述交差，還要留下物件真正改變後的狀態。

任務範圍小，反而容易看出基本限制

研究選擇桌面任務，能把問題集中在看場景、規劃與操作。如果一開始就加入完整倉庫，硬體、物流與長時間維護會讓結果更難解釋。

但範圍小也限制了推論。模型會按按鈕，不能直接證明能在陌生工廠管理整條線，因為不同夾爪、光線與材料，都可能改變難度。

對一般讀者，這個預覽的用途是看能力走到哪一步。對開發者，則是從容易描述的任務裡，找出還需要工程補足的環節。

用同一套桌面目標比較，也不代表所有應用都會維持相同排名。自己的工作最難的是抓取、量測或停止，會影響該看哪一部分結果。

相同目標仍需要明確的通過條件，才能比較各模型。

模型如何看場景、操作手臂與取得分數？

模型透過四個攝影機與程式介面工作，提交後依最終狀態評分。

測試提供四個攝影機視角，模型可以在隔離執行環境寫程式，透過簡單 HTTP API 送出動作。API 是程式與設備交換請求的介面，模型仍要安排實際操作。

模型收到的是簡短任務與連接說明，最後自行提交完成或放棄，再由人依最終狀態評分。這讓「什麼時候停」也成為測試的一部分。

一百分是完成條件，平均分不是成功率

完成任務得 100 分，未完全完成仍可能依進展取得部分分數。因此，榜單上的平均 69 分，不能寫成 69% 的任務成功率。

假設收積木時已放入部分物件，蓋子卻沒有合上，系統可能有進展但尚未達到完整條件。部分分數描述這種程度，並不是把工作補成完成。

零樣本是未先針對這些指定任務提供訓練示範，並不表示模型從未受訓。它仍利用原本學到的知識，透過工具理解現場與嘗試動作。

比較的是模型與代理環境的組合

代理環境是讓模型讀取資訊、執行工具並延續工作的整套安排。官方分別使用 Codex、Claude Code 與 Antigravity，所以結果也包含各自工具與工作方式。

這不表示排名沒有價值，而是引用時要保留設定。換了提示、工具接口或執行限制，表現可能改變，不能把一次結果當成模型不變的物理能力。

四個視角能提供更多資訊，也需要模型選出有用內容。假設已能判斷物件位置，卻仍反覆讀取相同畫面，觀察本身就可能增加時間與費用。

評分依提交後的狀態，也意味中途曾經成功不一定保留。如果模型繼續調整而破壞結果，最後分數反映的就是破壞後狀態。

一個容許誤差，會讓模糊答案無法過關

量測盒子任務要求各邊尺寸在正確值的兩毫米內，所以「大約這麼大」不夠。模型必須把觀察轉成符合要求的數值，才能完成這項工作。

這個例子說明，驗收精度會改變難度。如果自己的用途只是區分大盒與小盒，標準可能不同；但若用結果安排後續零件，就需要符合那份工作實際要求。

因此，閱讀榜單時要先看通過條件，再看分數。相同一句「量測成功」，若允許的誤差不同，就不能直接互相比較。

得分之外，執行過程耗掉的時間也會影響實用性。

為什麼高分模型仍不適合直接上生產線？

這套設定下，模型常花大量時間理解場景與規劃下一步。

官方報告多數受測模型每項桌面任務約花半小時，Gemini 4 Argon 約 52 分鐘，而人類基準平均約 20 秒。這是該測試的比較，不是所有機器人的通用速度。

時間差距提醒我們，模型能完成某事，與適合連續提供服務不同。若一個簡單動作前需要長時間理解與規劃，工地或產線就可能無法等待。

先看時間花在哪裡，才知道該改善什麼

報告將過程分為理解場景、規劃、看攝影機與手臂移動等活動，顯示大量時間不在機器動作本身。只換更快的馬達，未必能解決主要等待。

假設手臂只移動幾秒，模型卻花很多時間決定下一步，改善方向就可能在觀察與規劃。反過來，若動作本身受物理限制，模型再快也不能無限縮短。

這種拆解讓測試比單一完成時間更有用。開發者可以知道要改善資料表示、減少反覆觀察，還是調整控制方法，而非只追求更高總分。

一次完成不代表能按固定節奏重複

實際工作通常有節拍，也就是每項作業要在可接受時間內完成。平均時間即使下降，若少數案件會卡很久，仍可能影響排程。

評估時可以把首次動作前的等待、整件任務用時與失敗恢復分開。這是本文建議的量測方式，不是宣稱首版榜單已涵蓋所有長期營運條件。

假設一個系統偶爾做得快，多數時間卻需要人重新設定，它就不適合只用最快影片介紹。需要連續多次結果，才能估計現場負擔。

首版使用特定手臂與桌面，還沒有取代長時間部署測試。要談生產線，需要另外處理供料、停機、維修與品質管理，不能從八項任務直接跨過去。

時間差距之外，成本資料也會改變選型結論。

每次任務 1.93 與 16.36 美元怎麼比較？

費用是這套任務與代理設定下的平均值，需要和得分一起讀。

官方報告中，GPT-6.1 Sol 平均每任務 1.93 美元，GPT-6 Astra 為 16.36 美元，相差逾八倍。兩者整體分數約為 65 與 69，必須把分數差和價格差一起讀。

這些費用對應這套基準下各模型的代理設定，不是所有機器任務的報價。輸入影像、上下文與反覆規劃，都會影響模型用量。

多付費買到的進步，是否剛好是你的需求？

若自己的工作只包含榜單上兩者都能完成的簡單目標，較高總分未必帶來同樣比例的收益。若關鍵任務剛好差很多，總平均又可能掩蓋價值。

因此，選型應回到任務。先看需要哪些能力，再看各項結果與失敗方式，會比依總榜順序直接採購，更接近實際用途。

平均費用也不能單獨表示每次成功的成本。若大量嘗試只得到部分結果，團隊仍需人工收尾，所以這些工作應在自己的比較裡納入。

反覆讀資料，也會變成成本

報告指出，在這套設定下，約七成花費落在輸入上下文。上下文是模型一次參考的資訊，包含任務、畫面與工具結果等內容。

假設每次動作前都把大量舊資料重新送入，輸入就會持續累積。更有選擇地保留有效資訊，可能比只限制最後回答長度更值得研究。

但不能為了省錢，把必要的現場觀察拿掉。若模型因此沿用過期位置，費用下降卻增加失敗，總成本可能更高。

對照人類費用時，也要保留官方採用的工資假設。這是特定基準的成本模型，不能直接推成不同國家、不同工種的完整設備回本期。

自己的任務組合，未必和榜單平均相同

假設團隊每天主要是放置，偶爾才量測，平均分就不會直接對應工作價值。因為各項出現頻率不同，所以應先把常做的任務結果放在一起比較。

如果價格較高的模型只在少做的任務領先，團隊可能不需要每項工作都用它。但若某項失敗會造成大量人工重做，單看呼叫價格又會低估成功的價值。

這是選型分析，不是推薦固定模型分工。實際是否能更換，仍要看工具與控制設定，因此應先在相同環境試一個可核對的任務。

費用之外，也要看結果到達時是否仍有用。若任務已被人完成，延後的模型答案就不能再算同一份收益，否則會把重複工作誤當成節省。

比較成本後，還要看模型能否判斷什麼時候應該停。

研究預覽能教會我們哪些驗收方法？

實體任務需要把完成條件、不可逆錯誤與停止時點一起設計。

實體操作的完成條件應在工作開始前明確。物件在指定範圍、容器已蓋好，或量測誤差符合要求，都比「看起來差不多」更容易獨立確認。

這不只是替人評分，也能幫模型知道何時停止。若目標已達成，繼續追求更漂亮的位置，可能引入新的接觸與掉落風險。

已成功卻繼續做，也可能失敗

報告列出 GPT-6.1 Sol 在堆塔任務約 17 分鐘時達到通過狀態，之後卻繼續操作而失敗。這個案例顯示，會做與會判斷完成是兩項能力。

停止判斷需要對照任務，而非只看動作是否仍有改善空間。假設要求物件完全進入框內，達標後再移到正中央，未必增加任務價值，卻可能把它推到框外。

這是從研究案例延伸的分析，不是建議所有機器人都採同一個停止規則。不同工作有不同品質要求，規則應先由任務負責人定義。

讓錯誤回到可解釋的位置

可以分開記錄看錯位置、抓取失敗、放置錯誤與完成誤判。分數相同的兩次失敗，可能需要完全不同的修正，不能只用總分安排下一輪。

不可逆錯誤也應單獨處理。物品灑出或損壞後，原本的成功條件可能已無法達成，此時應重新判斷，而不是持續執行看似接近目標的動作。

對開發團隊，第一個測試可以縮成固定物件與可確認終點，保留完整時間和費用。這是沿用研究方法的建議，並非把首版手臂設定直接推薦為部署方案。

未來版本若能同時改善成功率與效率，才更接近實際工作。

AA-Robotics 常見問題

AA-Robotics 的 69 分代表成功率 69% 嗎？

不是。任務可取得部分分數，總榜是各項得分平均，不能直接換算成完整成功比例。

最高分模型就適合生產線嗎？

首版結果顯示時間與成本仍有明顯限制。生產線還需要重複穩定性、節拍和現場維護等額外證據。

1.93 美元包含整套機器人的成本嗎？

它是報告的每任務模型測試費用，不應當成設備、維護與人力的總報價。部署評估需要自己的完整成本範圍。

零樣本代表模型沒有學過任何相關知識嗎？

零樣本描述未先提供指定任務示範，不是沒有受訓。模型仍利用既有能力和工具理解現場。

比最高分更值得追的是效率與完成判斷

AA-Robotics 的價值，是讓模型把文字理解交到真實動作檢查。先看自己的任務需要哪些能力，再一起比較得分、時間、費用與停止條件，才能讀出榜單以外的實用差距。

想持續追蹤實體 AI 的可檢查進展，可以免費訂閱 AI 郵報，並保留同一個任務的結果、等待與花費紀錄。

延伸閱讀：Reason Agent 1.1 比較 Codex：同一模型，為何寫程式的成本仍會不同？

延伸閱讀：Gemini 機器人看影片學投沙包：七連中示範，模擬訓練改變了什麼？

資料來源

• Artificial Analysis AA-Robotics v0.1 完整方法與結果。
• Artificial Analysis 官方發布串文。