Natura-1 機器人模型亮相:百萬小時人類影片,如何教會靈巧雙手?
Natura-1近期消息與實際用途解析,從官方資料看懂功能、使用條件與限制,提供臺灣讀者評估工作流程的具體方法。
Natura-1 是 Nature Will 公布的機器人基礎模型,最近在 X 以靈巧雙手與長時間操作影片吸引注意。
官方表示模型從大量人類第一人稱影片學習,再透過機器人資料調整,把看到的工作轉成實際動作。
這個方向讓人想像,機器人是否能從人類經驗中學習更多細緻任務,而不必每項動作都從零收集示範。
不過,官方區分共用權重,也就是訓練完成的核心參數,以及另有額外訓練的任務。看起來流暢,不代表所有長時間工作都是完全零樣本完成。
這則新聞的關鍵,是大規模人類資料能幫助哪些動作,以及實際部署還需要什麼證據。

Natura-1 從人類影片學習,為什麼值得關注?
官方技術文章介紹約 500 億參數的混合專家模型,預訓練資料超過百萬小時人類第一人稱經驗。
第一人稱影片接近操作的人看到的視角。它保留手、物件與工作環境之間的關係,可能比旁觀者拍攝更有助於理解操作。
混合專家是每一步只啟用部分計算單元的架構。模型可以保有較大的總容量,同時控制每次運算的負擔。
看見人的手,還要對上機器人的手
人與機器人的手指、關節和觸碰方式不同。資料中某個成功動作,不能直接當成所有設備都能照做的控制指令。
官方因此在預訓練後加入機器人資料,幫助把學到的世界知識轉到實體設備。這一段轉換,也決定模型是否能在新硬體上使用。
人類影片提供的是動作關係,還不是馬達指令
假設影片裡有人把瓶子放上托盤,再把托盤端走。模型除了看到手在移動,還需要分清瓶子要保持直立,以及兩隻手要一起維持平衡。
這類關係很適合從人類經驗尋找線索,因為我們使用的工具與環境常為人手設計。機器人如果只學夾起物件,便可能少了後續安排。
但人類影片沒有直接告訴設備要出多大力。手指摩擦、物件重量與關節限制,都會影響動作,因此從看懂到做對,中間仍有轉換。
官方做法是先從人類資料建立能力,再用機器人資料調整。這讓大量影片有機會提供廣泛背景,而實體資料處理機器與人不同的部分。
讀者可以把它理解成先認識做事的方法,再練習用特定身體完成。這是白話比喻,並非模型真的像人一樣理解,也不能推定每項技能都能轉移。
如果一個動作依賴人手特別靈活的角度,機器人可能需要換姿勢或工具。成功條件也可能隨硬體改變,不會只由模型大小決定。
這就是靈巧雙手比單純夾爪更難的地方。可動的部分變多,抓法增加,但也要協調更多接觸點,任何一點不合適都可能讓物件滑落。
假設要握住紙杯,握太鬆會掉,握太緊會變形。模型需要兼顧物件形狀與接觸後的變化,而不是只把手移到杯子所在的位置。
目前公開的研究展示提供了觀察這些能力的入口。判斷是否適合自己的工作,仍要看相同硬體、物件與環境下的多次結果。
延伸閱讀:Gemini 機器人看影片學布袋球:Apollo 連進七球,Video-to-Sim-to-Real 做到了什麼?
零樣本與額外調整,影片裡要怎麼分?
零樣本指面對指定新任務時,不另外提供該項任務的訓練示範。它不代表模型從來沒有訓練,或沒有學過相關技能。
官方明示六種長時間任務另有額外調整。這個註記影響我們如何理解影片,不能把所有片段合成同一個零樣本成績。
任務能延續,還要看失敗恢復
假設物件滑落,可靠的助手應重新觀察、判斷目前狀態,並決定是否重試。只重複原動作,可能讓問題繼續擴大。
這是評估機器人工作的一般情境,並非我們已測得 Natura-1 的成功率。完整影片能幫助看見過程,仍不能取代多次測試紀錄。
把新物件、新場景與新任務分開測
假設機器人原本會整理盒子,換一個顏色不一定代表學會新任務。但換成容易變形的袋子,抓取方法就可能不同,兩種改動的難度不能混在一起。
同樣地,把熟悉物件放到不同位置,主要考驗找物與安排。要求機器人先拆封再整理,則可能增加以前沒有的動作與前後依賴。
要理解零樣本結果,可以問新的是哪個部分。新位置、新物件、新動作或新組合,各自對應不同能力,單看成功短片不容易分清。
官方把部分執行與接近的訓練示範並列,讓讀者觀察差異。這種資料比只放成果更有幫助,因為可以看見模型究竟延伸了哪一步。
六項額外調整的長時間任務也有其價值,只是回答另一個問題。它們更適合用來觀察調整後能否連續工作,不能拿來證明所有任務都不需調整。
如果評估實際合作,可以先拿自己常用的物件組合做固定情境。第一輪只換位置,第二輪換容器,第三輪再增加一道操作,逐步找出容易失敗的地方。
這是測試設計建議,不是已公開的 Natura-1 成功率。目的在於讓一次失敗有解釋,而不會把所有變化一起加入,最後只剩成功或失敗兩個答案。
例如物件掉落後,應看設備有沒有發現位置變了。若仍朝原位置伸手,問題可能在觀察更新;若發現卻抓不起來,則可能是恢復策略或硬體限制。
也可以把需要人工協助的次數記下來。一段影片最後完成,不代表中途沒有重置或介入,完整紀錄才能說明工作有多連續。
對需要實際部署的團隊而言,能辨識失敗原因,才有辦法估計要補哪些資料。把額外調整與零樣本分開,反而能讓合作規劃更清楚。
靈巧雙手的難度,來自接觸與連續變化
拿硬盒子與摺柔軟材料,是不同的控制問題。柔軟物件會變形,手指碰到的位置與力度也會不斷變化。
因此,生成一段看似合理的動作,只是起點。設備還要及時處理觀察、計算與執行之間的延遲。
百毫秒循環,不能直接換算完成速度
官方描述觀察到行動的控制循環約為 100 毫秒。這說明系統更新動作的節奏,不代表整個任務只花一瞬間。
整理桌面或製作食物,仍有物件移動與等待的實際時間。讀數字時應把控制頻率與任務用時分開,才不會誤解能力。
控制更新快,與整件事做得快是不同問題
假設機器人要把材料攤平,再慢慢摺好。每次觀察與調整很快,有助於跟上材料變形,但摺疊仍要經過一連串實際動作。
百毫秒循環描述的是系統來回更新的節奏。它不是拿模型看一次畫面的時間,去替代整個操作流程,也不能直接換算每小時產量。
若設備需要等待物件穩定、工具放好或材料停止晃動,這些時間不會因為模型更快就消失。評估工作效率時,應把實際操作全程計入。
控制速度的重要性在於能否及時修正。假設手指剛接觸軟袋子,畫面與形狀立即改變,延遲太長可能讓設備繼續沿用已不合適的動作。
但更新很快仍不保證修正正確。模型也需要辨識目前狀態,選出可行動作,再讓硬體執行,任何一步出錯都會影響結果。
因此,同一份測試最好同時保留控制反應與任務用時。前者說明是否跟得上環境變化,後者才更接近人關心的工作完成速度。
舉例說,兩個系統都能把物件放回盒子,其中一個更新頻率高卻經常反覆試抓。最後可能比更新較慢、抓取較穩定的系統花更多時間。
這是說明比較方法的假設,並非對 Natura-1 與任何產品的實測排名。沒有相同硬體、任務與計時方式,不能只用單一數字挑選。
長時間工作還會累積小錯誤。某一步把工具放歪,下一步拿取就更難,後面可能一路受影響,所以要觀察每步如何為下一步留下可用狀態。
延伸閱讀:Dyna-2.1 挑戰一小時洗衣流程:機器人真正難的是把整件事做完
百萬小時資料,仍需要多樣性與測試
資料量大,能增加看到的情況,但若很多內容集中在相近場景,仍可能對少見任務不熟悉。
例如新容器、特殊光線或不同表面,都可能讓觀察與接觸發生變化。評估應覆蓋這些變動,而不只重複最容易成功的展示。
官方強調資料、基礎設施與模型仍是長期研究工程。這也提醒讀者,公布模型方向與推出人人可用的機器人服務,仍有距離。
讓測試涵蓋常見變動,而不只重播成功條件
假設一間工作室想用機器人整理用品,實際桌面不會每天完全相同。有人把盒子轉向、遮住一角或換成透明容器,都可能影響觀察。
測試時可以先固定操作目標,再逐一改變這些條件。每次只變一部分,才能知道問題來自看不清、找不到,還是接觸方法不合適。
新場景也可能引入完全不同的限制。例如桌面變小後,兩隻手的活動空間減少,原本可行的動作可能會碰到其他物件。
這種失敗不一定能靠加入更多相似影片解決。它也可能需要不同的設備配置,或讓模型重新安排動作,不能把所有問題都歸因於資料量。
資料覆蓋的概念,就是讓模型看到足夠多種類的情境。百萬小時描述總規模,卻沒有直接告訴我們自己的特殊材料是否經常出現在資料裡。
所以,評估前可以列出真正不可替代的物件與動作。若任務最難的是拆薄膜,就應測薄膜,不應只用較容易抓取的硬盒代替。
也要先定義可接受的結果。整理用品時,放錯區域可能可以修正;操作脆弱材料時,損壞後就不能重來,兩者的成功標準不同。
若一項工作需要頻繁由人復位,仍要把人的時間計入。機器人完成最後一步,只能說明結果達成,不能單獨證明已省下整段工作。
這些條件能幫助團隊提出具體問題,而不必等待一個籠統的通用能力承諾。當模型在自己的常見變動下都能穩定完成,才值得擴大用途。
Natura-1 的研究方向因此值得看,但目前最有用的下一步,是把需要的證據寫清楚。完整流程、失敗恢復與重複次數,會比另一個漂亮片段更能回答部署問題。
Natura-1 的研究能力與使用範圍
每個示範要按訓練條件理解
官方標示六種長時間任務有額外調整,這些成果應按其訓練條件理解,不能與零樣本測試合併。
研究展示與家用服務還有距離
Natura-1 的研究介紹沒有建立一般消費者可買回家處理所有家務的結論。產品開放、硬體與任務穩定性,仍需另外的實際資料。
比成功短片更值得等的,是完整評估資料
Natura-1 展示人類資料與靈巧手控制的研究方向。想評估合作的團隊,可以先列出自己的物件與環境條件,要求多次測試與失敗恢復紀錄,再判斷是否適合實際工作。
想持續追蹤實體 AI 的研究與應用,可以免費訂閱 AI 郵報,並把自己的物件、動作與驗收條件整理成一份清單。