AIRoA-0 開放模型與程式碼，手持夾爪資料如何教會雙臂機器人？
AIRoA-0 公開模型與程式，以16,151小時手持夾爪資料訓練雙臂操作。解析相對動作、階段記憶、78%部分評分、四機示範與資料集取得狀態。
想教雙臂機器人折毛巾，研究者通常得先安排機器人與示範者一起工作。能蒐集多少資料，也就受到機器數量與可用時間限制。
日本 AI Robot Association 在 11 月 6 日宣布開放 AIRoA-0 的模型權重與相關程式碼，讓人手持夾爪記錄操作，再把經驗轉到機器手臂。
它使用的 YUBI 工具會記錄手腕影像、夾爪位置與開合狀態。人示範時不需要機器人站在旁邊，日後機器人也使用相同的工具觀察與執行。
這次研究以公開的 π0.5 底座繼續訓練，新增操作學習使用一萬六千一百五十一小時的手持資料。這和宣稱底座從未學過機器人資料不同。
在陌生地點的十項雙臂任務中，每項十五次測試的平均評分為 78%，部分完成可得部分分數。這個結果描述指定任務與硬體條件。
我認為這次釋出的重點是讓蒐集操作資料不必綁定機器人。它提供一條可研究的跨機身路徑，但同型夾爪、感測位置與任務示範仍是成立條件。
要理解人手資料如何跨到機器手臂，先看模型如何描述一個動作。
AIRoA-0 為什麼用手持夾爪收資料？
讓人與機器人使用同一種觀察與動作介面，可以減少資料移轉時需要重新對齊的部分。因此，研究從蒐集工具開始設計，而非先把所有影片混進訓練。
示範者左右手各拿一個 YUBI 夾爪，手指收合時，夾爪也會跟著閉合。工具記錄自己的位置、姿態、開口大小，以及裝在手腕位置的相機畫面。
日後，同一種夾爪裝到機器手臂末端，模型看到的仍是工具旁的畫面。人和機器人的肩膀與關節不同，工具的觀察位置卻較容易保持一致。
這讓資料的核心從「某台機器人的關節怎麼轉」，轉成「夾爪接下來要去哪裡、轉成什麼方向」。後者比較容易被不同手臂控制器接收。
動作以夾爪當下位置為參考
模型輸出的目標，是相對於觀察當下夾爪姿勢的位置與方向。它沒有直接指定機器人底座的位置，也不要求人和機器人共用相同關節。
每個目標也以當下姿勢作為自己的參考，而非不斷加在上一個預測上。這能減少動作片段內逐步累積偏移的問題，再交給手臂控制器跟隨。
但這不會讓硬體差異完全消失。機器手臂仍得有能力到達目標，夾爪與相機也要符合介面。共用資料描述，並不等於任意硬體都能直接完成工作。
研究的新增蒐集過程沒有安排真人遙控機器人，也沒有用實機修正動作或強化學習。但它繼承已有底座，因此這項敘述應限定在本次新增學習流程。
工具一致只是起點，模型仍要從不同房間的畫面裡，找出和任務有關的訊息。背景桌面或牆壁若被當成提示，換地方時就可能失效。
延伸閱讀：UMI-Live 開源雙手資料採集系統：按下錄影之後，40 小時資料如何教機器人？
兩個手腕畫面，如何支撐多步驟工作？
模型同時學習該注意哪些影像區域，以及工作目前進行到哪個步驟。因為手腕只看到局部，同一張畫面可能對應不同的工作進度。
例如筆袋已打開時，接下來可能要把筆放進去，也可能已經放好、準備拉回拉鍊。只有「整理筆袋」這句總要求，仍不足以決定下一個動作。
團隊把資料分成兩層語言標記。任務指令描述整份工作，子任務指令描述目前的小步驟，讓模型有機會學到總目標與當前動作的關係。
整批資料包含一千零六十五萬段子任務，平均約五點五秒。訓練前也經過過濾、異常偵測與時間調整，並非把所有原始錄影直接視為相同品質。
模型學習把注意力留給操作對象
影像處理加入一個依指令分配權重的機制。它會學習哪些區域和目前工作有關，減少無關背景對動作判斷的影響。
研究沒有要求人替每張圖片畫出物件方框。權重由動作學習帶動，讓模型在需要完成工作時，自行學到該重視夾爪與操作對象附近的內容。
這個方法仍保留部分影像訊號，也不是直接把其他區域全部剪掉。它改變的是資訊進入後續判斷的權重，不能把圖上的輪廓當成人工提供的答案。
到了任務後訓練，系統再加入目前階段的預測。預測結果用文字告訴動作模型現在該做哪一組步驟，讓長任務的進展更明確。
看見現在，也要知道手臂剛做過什麼
另一個新增部分保留最近十個夾爪狀態，並記錄每個狀態距離現在多久。這提供短期動作歷史，幫助模型判斷當前姿勢是怎麼形成的。
不同機器人查詢模型的頻率可能不同，所以不能只把「前十步」當成固定時間。加入真實時間間隔，才能讓同一段歷史在不同節奏下仍有可比較的意思。
執行時，階段預測還會經過平滑處理，避免單次看錯立刻把整個工作切到另一個步驟。這是在反應速度與動作穩定之間處理取捨。
動作也分批持續生成。比較遠的片段先做較大調整，快要執行的片段只用新觀察作小幅修正，讓畫面改變時能回應，又不會每次更新都突然跳動。
研究以分類箱被人推動的例子展示這個能力。夾爪會改朝新位置放物件，但這是特定展示，沒有把所有可能干擾都換算成統一成功率。
78% 平均評分怎麼算，哪些任務仍困難？
十項任務的測試允許部分完成得分，因此平均值不能讀成整項工作完成率。它比較接近作者所設計任務進度與完成情形的彙整。
評測在沒有蒐集訓練資料的地點進行，使用雙臂 Franka 平台。每項任務十五次，合計一百五十次，再依各任務的評分方式計算結果。
任務包含折毛巾、排字塊、堆橘子、分零件、顏色分類、替掃地機器人換部件、操作筆袋、堆杯子與處理耳機等。
這些工作需要的任務示範量不一樣。六項使用約三到六小時，耳機任務則使用二十五點八小時。示範較多，也不代表這項工作就比較容易完成。
分項比平均更能指出剩下的難處
顏色分類得到 97%，耳機任務只有 30%。兩者都進入同一個平均值，但操作難度與物件特性不同，不能用平均分數替每個需求作保證。
折毛巾的分數為 73%，使用三點三小時任務示範。這些資料量是後訓練該任務的部分，並不是整個模型只看了這些時間便學會雙臂操作。
四個比較模型也使用相同任務示範做後訓練，平均為 14% 到 27%。這讓比較聚焦在相同任務資料下，模型與處理流程能取得多少成果。
團隊對其他模型搜尋多種動作長度、頻率與更新設定，再回報各任務最佳結果。A-0 使用同一套後訓練配方，這是作者比較設計的重要條件。
因此，結果支持這套整合方法在指定測試中的表現，卻不能單靠一個總分，把改善全部歸給手持資料量。注意區域、階段與動作接續也一起改變了。
分項結果呈現任務落差，跨機身展示則回答另一個不同問題。前者問做得如何，後者先問相同描述與模型能不能接上不同手臂。
延伸閱讀：FineART 開放機器人資料與模型：40,543段示範，子任務標註為何重要？
同一模型能直接裝到所有機器人嗎？
目前示範涵蓋四種配備 YUBI 的雙臂平台，關鍵是工具、相機與動作介面相容。它不是一個忽略末端工具與感測器差異的通用安裝包。
官方列出的平台為 Franka、TX-G2、OpenArm 與 UR。同一個模型輸出夾爪目標，再由每台機器人的控制系統轉成手臂動作。
這種設計把部分差異放到控制介面處理，模型不必為每種手臂直接輸出另一套關節角度。但使用者仍需要能正確追蹤目標的控制器。
相機也必須取得相容觀察。若鏡頭方向或工具長度改變，物件在畫面中的位置、接觸時刻與可達範圍都可能不同，仍需重新確認。
四機示範也沒有提供四套完全相同的十任務評測。因此，不能把 Franka 上的一百五十次評分，直接套成四種平台都有相同平均表現。
任務適配仍需要自己的資料
團隊提供的是從自己的手持示範進入後訓練的路徑。若想改成新的工件或另一種筆袋，仍要蒐集相應資料，不能只因模型看過分類任務就省略。
官方說後訓練可在四小時內完成，條件是一個節點上有八張 H200。這是指定資源下的時間，並非一般單張消費顯卡的速度承諾。
把這項條件保留下來，才能估算外部研究成本。蒐集工具可能較容易擴增，訓練運算、機器人硬體與實機測試仍是另外的投入。
這次開放哪些材料，資料集何時能取得？
官方公告提供權重與蒐集、後訓練及推論程式，完整訓練資料集的發布細節仍待公告。不同材料的取得狀態，應分開閱讀。
技術報告在十一月二日已先提交預印本。十一月六日的公告進一步整理模型與程式釋出，因此不能把所有材料都說成當天首次出現。
公開頁面列出資料蒐集工具、預訓練及後訓練模型，以及執行範例。本次查閱時，模型檔案頁要求存取授權與登入，沒有完成未登入直接下載。
這表示研究者可以先閱讀方法與程式，但權重存取仍須依官方流程取得。可見模型名稱與公開說明，不能代替實際取得檔案的確認。
資料集方面，較新的官方公告明確說仍計畫公開，時間、範圍與使用方式將另行說明。因此，不能從研究摘要的釋出用語，推定全部一萬多小時已能下載。
對外部團隊而言，可以先對照夾爪設計、相機與動作格式，確認自己的資料是否相容。等取得對應權重與必要材料後，再安排重現，才能把問題定位在正確層次。
AIRoA-0 常見問題 FAQ
AIRoA-0 的訓練完全沒有用過機器人資料嗎？
本次新增蒐集與訓練使用手持資料，底座則繼承公開 π0.5。這項工作沒有重新證明底座所有過往資料都不含機器人，兩者要分開。
78% 是完整工作成功率嗎？
原文允許部分完成取得分數。它是十項指定任務、各十五次測試的平均評分，不能直接讀成同樣比例的整項工作全部完成。
使用者只要一張顯示卡就能後訓練嗎？
官方四小時內的條件是八張 H200 的單一節點。其他設備需要另外確認資源與時間，公告沒有提供單張消費顯卡的等價測量。
完整一萬六千多小時資料已公開下載嗎？
十一月六日公告仍把資料集列為後續計畫。應等待發布時間、範圍與取得方式，不能把權重和程式已列出，解讀成資料也已全部到位。
結論
A-0 的新意在於把資料工具、任務語言與動作介面一起設計，讓人手蒐集的經驗能接到多種雙臂平台。長任務則靠階段、短期歷史與連續動作補上中間環節。
有意重現的團隊，可以先確認自己的工具與資料格式，再追蹤權重授權及資料集公告。把任務分項與部分完成規則一起保留，會比只追一個平均值更能看清移轉效果。
