FineART 開放機器人資料與模型：40,543段示範，子任務標註為何重要？

教機器人收桌子，只給一句「收好所有東西」，往往少了中間步驟。FineART 想補的是，機器如何知道先拿哪個杯子，以及一個步驟何時接到下一個。

Scale AI 與 Hugging Face 在2026年10月29日宣布開放這套資料與模型。資料包含40,543段雙臂遙操作示範，並為整段工作標上細緻子任務。

重點不只是錄影多，而是每個工作階段都有文字依據。對需要把任務拆開再行動的模型，這類標註才是可學習的中間橋樑。

但遙操作資料不是全自主成果，論文成績也涉及不同設定。有人類逐步指導的成功率，不能改寫成模型在所有場合自己完成。

有雙臂研究與適配能力的團隊，可以把它列為資料和訓練候選。若期待下載後就控制任意機器人，仍需完成硬體與環境驗證。

先看這些示範記下什麼，才能理解語言子任務如何接到動作。

FineART的40,543段示範，和普通操作影片差在哪？

資料同時保存動作和完整子任務時間線，因為只看到整段影片，模型未必知道每個階段正在完成什麼。官方資料卡列出1,718小時、533,913個子任務標籤，涵蓋151種任務。

四萬多段指的是操作片段，不是四萬多小時。因為這些資料由人遙控 Trossen Stationary AI 雙臂機器人採集，所以不能把錄下的成功行為，直接當成模型自主完成的紀錄。

一段示範平均約兩分半鐘、包含約十三個子任務。但若只留一句高階要求，模型看見的是完整工作，卻不容易知道某個時間點應該拿哪件物品。

細緻標註則把過程拆清楚。例如整理同類燭台時，指令會區分顏色、位置與擺放方向，讓「把它放回去」這類含糊說法，有更具體的對照。

誰操作，和誰寫標註，是不同工作

官方表示，子任務文字由人類標註者撰寫，沒有用視覺語言模型協助，標註者與遙操作人員也分開，再由第三組人員稽核。視覺語言模型指能一起處理畫面和文字的模型。

這樣的分工有助於把實際動作與解釋分開核對，但不等於每個標籤都不會錯。因為文字必須對上時間，研究者仍需抽查時間、物品與動作是否一致，尤其是接觸物品和切換步驟的位置。

資料也不是平均分布的技能百科，因為約77%的時數是日常拿放與分類，其他接觸較複雜的工作占比較小，直接隨機抽畫面，可能更常看到簡單任務。

資料卡也說明，標籤依每段影片的起始秒數排列，某一步會持續有效到下一個標籤開始。因此，時間軸不是旁邊的一份說明文件，而是訓練時判斷這一刻該做什麼的依據。

假如標籤提早切換，模型就可能在還握著物品時，被要求開始另一個動作。這是理解資料對齊的假設例子，並非本刊在公開資料中發現的錯誤，也說明為什麼抽查不能只看文字寫得通不通。

有了可對齊的步驟，模型才能學會先說出下一步，再產生動作。

FineART-VLA如何把下一步文字變成雙臂動作？

一個模型先預測子任務，再用觀察與機器狀態產生動作，兩者不只是分離的聊天與遙控。VLA 是視覺、語言與動作模型，目的是把看到的畫面和文字要求連到可執行動作。

官方模型卡說明，FineART-VLA 建立在 Physical Intelligence 的 π₀.₅ 基礎上，加入受訓練的語言輸出，讓模型預測下一項低階工作。

可以把流程理解為，先根據畫面與總任務，決定接下來要做哪一步，再由動作部分結合機器狀態，把那一步轉成連續控制。文字在這裡是中間工作要求，而非事後補一段解說。

官方借用 System 2 和 System 1 描述較高層的步驟規劃與較低層的動作執行。所以，這是功能分工，不能把它寫成模型具有人的意識，或已能像人理解所有現場情況。

訓練資料也要包含中間語言

公開模型的訓練配方混合30%任務到子任務預測，以及70%依子任務產生動作。這是該版本設定，不是所有機器人訓練都應照抄的通用比例。

若自己的資料只有影片、狀態與動作，沒有子任務文字，便不能預設會訓練出相同規劃能力。LeRobot 使用文件也提醒，沒有語言欄位時，流程會回到一般動作提示路線。

這個差別很實際。因為能依一句任務行動，不代表能在過程中自己提出下一步，兩項能力需要分別訓練和觀察，不能只看程式沒有報錯就認定都已具備。

這種中間語言是否有幫助，要回到具體實驗方式。

32%到100%、16%到76%，為何不能讀成通用自主成果？

論文比較各有任務與人工引導條件，不能只留下提高後的數字。資料卡提到的32%到100%，來自一項空間指令辨別任務，並非所有日常操作的平均成功率。

另一個長程任務從16%到76%，則帶有人類逐步提供子任務指引的條件。這說明中間語言可能有幫助，卻不能改寫成模型不需人參與就取得同樣成果。

官方還報告，轉到新機器人 YAM 後，經過 FineART 中期訓練的策略，以約十分之一的微調資料達到對照表現。微調是用新的特定資料繼續調整既有模型。

但這裡比較的是選定新硬體與測試，不是承諾任何機器人都只需原本十分之一資料。鏡頭、關節與工作環境不同，都會改變需要適配的部分。

論文中的版本，不完全等同這個下載檔

研究論文已於9月提出，本次新聞是正式開放資料與模型的里程碑。不能把10月29日寫成這套研究第一次出現，也不應忽略公開產物是哪一版。

模型卡明確說，釋出的是在 ALOHA 資料上經子任務中期訓練的版本。論文實驗另包含後續微調與多種刪除部分設計的比較，因此，下載這份權重，不代表同時取得每個實驗的最終成果。

對研究者，這會影響重現計畫。若選的任務需要另一個版本或訓練階段，就應先確認資料與設定，而不是只因名字相同，就用公開檔案對照論文所有數字。

即使實驗有進步，新硬體仍要完成自己的適配。

下載模型後，還要對齊哪些資料與硬體？

鏡頭、關節順序與動作尺度不一致，會讓同樣輸出變成不同的真機行為。模型看得到圖片，還不代表知道每個數值應控制哪一個關節。

因為權重本身不足以描述完整操作，公開檔案還包含前後處理設定、正規化統計與動作編碼器。正規化是把不同數值調到模型訓練時使用的範圍，漏掉這些資料，便可能改變輸入或動作的意義。

模型卡列出三個相機視角，包括上方與兩側手腕。資料集另有低處鏡頭，但這份模型使用的是所列三個視角，不能看到資料有四台相機，就假設模型會全部讀取。

它也列出十四維的關節與夾爪狀態及動作。維度是數值項目的數量，並不是可以任意交換順序的十四個欄位，換硬體時需要對上實際控制。

模型檔大小不是執行記憶體需求

官方說模型檔約占9.35GB儲存空間，執行還要額外容納運算資料與快取。因此，不能把這個數字寫成最低顯示記憶體，也不能保證一般電腦下載後就能即時控制。

官方示例使用 CUDA，也就是 NVIDIA 的運算環境，並要求保留相應處理設定。本文沒有安裝或操作真機，所以不把示例指令當成本刊已驗證的部署教學。

資料切分也需要自己安排。官方資料卡把所有片段放在訓練區，若要評估新資料表現，就應另保留未參與訓練的片段，不能只用學過的畫面證明泛化。

保留測試時，也應以整段操作為單位。因為相鄰畫面可能只差一瞬間，若把同一段示範的不同畫面分到訓練與測試，模型就可能已看過幾乎相同的物品和位置，讓成績難以代表新情境。

因此，測試設計要跟研究問題一起決定。若要測新任務，就不能只拿熟悉任務的新畫面；若要測新硬體，也要說明曾經用多少該硬體資料調整，避免把有適配的結果寫成完全沒看過。

能準備環境之後，也要把資料、模型和程式授權分開看。

資料CC BY、模型Gemma、程式Apache，為什麼不能混？

這次公開的不同部分採不同授權，取得資料並不代表對模型也享有同樣條件。下載時應把每一項產物對應到自己的使用目的。

資料集採 CC BY 4.0，模型則沿用基礎元件而來的 Gemma 授權，LeRobot 實作程式採 Apache 2.0。這三個名稱不是可以互換的「開源許可」。

模型卡也提醒，文字編碼使用的 PaliGemma 資源，可能需要接受 Google 條款並登入取得。這是另一項存取條件，不應由程式碼可讀，推論所有相依檔案都不需確認。

如果團隊要修改資料或繼續訓練，應保留來源與版本。因為日後要比較成績，或向接手者交代權重來歷，資料和模型的記錄都需要能找回來。

官方圖片與示範影片也不會因為旁邊的程式採 Apache，就自動具有相同再製許可。報導與研究介紹時，仍應保存來源與用途，不把程式授權延伸到所有素材。

這些區分不是要使用者先讀懂每一項技術才開始研究，而是避免把可下載誤認成無條件。先知道取得的是哪個部分，才容易向供應者確認具體用途。

權利和適配都清楚後，可以從一個有人工對照的子任務開始。

先看子任務是否對得上，再評估整段工作

我建議保留未參與訓練的示範，檢查文字步驟、時間與真機動作是否一致。以下是研究與採用方法，並非本刊實測結果。

例如，選一段要把紅杯與藍杯放到不同位置的工作。先看模型提出的子任務是否選對物品，再看動作有沒有完成，便能分清錯誤發生在規劃還是執行。

若子任務文字已經指錯杯子，繼續優化夾取動作，未必能解決整段任務。反過來說，文字正確卻因鏡頭或控制尺度不同失敗，也不能只怪語言規劃。

接著把相同檢查延伸到多步驟工作，觀察何時需要切換子任務。若動作尚未完成就切到下一步，即使每段指令看起來合理，整段流程仍可能接不起來。

在有監督、可停止的條件下，保留人工介入與失敗原因，再決定要補標註、調模型或處理硬體。這樣才知道新增資料改善的是哪一段能力。

中間步驟能被檢查，開放資料才比較有機會變成可重現的機器人能力。

延伸閱讀：RynnUnify 開放具身模型：邊想邊預測影片，真機成功率 46.7% 怎麼讀？

延伸閱讀：RoboJev 開放機器人成功判斷模型：95.2% 成績、每千次 0.19 美元怎麼讀？

FineART常見問題

四萬多段都是模型自主完成的嗎？

資料是人類遙操作採集的雙臂示範，不是模型全自主執行紀錄。示範可用來訓練，模型能力仍須另外評估。

研究是10月29日第一次公開嗎？

論文於9月已提出，本次是官方宣布開放資料、模型與工具。報導應分清研究提出與產物可取得的時間。

下載模型就已具備通用記憶和視覺問答嗎？

模型卡沒有以這份子任務版本建立通用記憶或視覺問答能力。新任務仍需相應訓練與驗證，不能由框架可擴充推成全部已具備。

可以把整套產物都寫成Apache授權嗎？

不可以。資料、權重與實作程式的授權不同，還有基礎元件的條件，應逐項核對。

有子任務資料與適配能力的團隊，才適合進一步比較

FineART 把雙臂示範的中間步驟變成完整文字時間線，讓研究者不只看最後成功與否，也能檢查模型如何走到下一步。

對能處理資料、硬體與訓練的團隊，這是值得研究的公開基礎。先從可核對的小任務確認語言和動作，再擴大工作範圍，比把論文最高成功率當成即用保證更有意義。

歡迎免費訂閱 AI 郵報，持續追蹤機器人資料、開放模型與可重現研究。

資料來源

• Scale AI官方發布貼文。
• FineART官方資料卡。
• FineART-VLA官方模型卡。
• LeRobot官方使用文件。
• FineART原始論文。