DexNinja 讓機器人學切食物：成功率從 31% 到 50%，模擬資料改變了什麼？

DexNinja 研究的動作是切食物，但它想解決的問題，是物體變形時，機器人能不能繼續調整動作。

研究團隊公開真實到模擬、再回到真實機器的訓練流程，並宣布研究獲 CoRL 2026 接受。

主實驗把真實示範和模擬資料合用，切割成功率由百分之三十一提高到百分之五十。

這是特定食物與測試設定下的結果，和另一組增加模擬資料後的百分之六十三，必須分開看。

這項工作對需要持續接觸、擠壓物體的機器人研究有參考價值，因為它把資料從哪裡來，以及失敗怎麼算，一起公開。

要判斷成果，先了解切下去時物體為什麼會讓原本動作失效。

DexNinja 為什麼把切食物當成研究題目？

切割會持續改變形狀與接觸關係，因此需要比拿起物品更多的回饋。

研究專案頁將問題限定在食物切割。食物會被壓縮、移動，切開後形狀也會改變，原先看起來合理的刀路，未必能一路照做。

假設機器人把一塊食物當成固定不動的物件，刀碰到表面後卻把它推走，下一段動作就可能對不到原來位置。這個假設情境說明，切割需要接觸後的新資訊。

切割會改變下一步工作的條件

拿起硬盒子時，物體形狀通常較容易維持。切食物則會產生新的表面與接觸關係，控制策略需要追蹤變化，不能只認得開始時的外觀。

控制策略是根據觀察選擇動作的方法。它不只是知道刀要往哪裡走，還包含何時調整手指、何時繼續，以及怎樣結束才算完成。

因為切割會改變下一步的條件，所以它提供了比單純抓取更難的測試。若模型只學到固定軌跡，遇到尺寸或姿態不同的食物，就可能失去原本的成功條件。

真實示範有價值，也很難無限重複

因為食物被切過後不能完全回到原狀，所以蒐集動作資料時，通常需要更換材料並重新準備，這讓失敗嘗試的成本不只來自機器使用時間。

因此，研究希望用模擬增加資料，但虛擬食物也可能與實物不同。若只把外觀做得像，摩擦或變形不合理，學到的動作仍可能無法轉回現場。

論文已在 arXiv 公開，讓讀者取得研究內容；arXiv 公開本身不等於完成期刊審查。團隊另在原貼文與專案頁宣布研究獲 CoRL 2026 接受。

看這項工作時，可以把問題放在資料轉換是否有幫助。它並沒有用一個模型名稱，就消除食物、硬體和現場條件的差異。

要收集這些變化，光靠真實示範會遇到資料成本。

真實到模擬再回真實，如何增加訓練資料？

研究用少量真實示範建立模擬案例，再檢查它們是否符合切割條件。

研究先記錄真實操作，再重建食物與刀的位置關係，建立模擬變體，最後用真實與模擬資料訓練。這條路徑稱為真實到模擬再回真實。

因為動作要對回真實設備，所以重建時要保留尺度，也就是讓虛擬物體大小對得上實物。若只有形狀相似、尺寸不同，刀與手的位置關係就可能失去用途。

變體要維持食物類別，不是任意改外觀

同一類食物可以有不同形狀、顏色與材料條件，研究在這個範圍內增加變化。目的是讓策略看過更多相近情況，而不是隨意生成完全無關物件。

假設原示範是一根較直的香蕉，新的個體略有彎曲，控制就需要調整接近與切割位置。這是解釋同類泛化的例子，不是研究已證明任何形狀都能成功。

泛化指學過部分資料後，仍能處理未直接見過的情況。這裡主要是同食物類別的新個體，範圍比「所有新物件」窄得多。

模擬資料也要過品質檢查

研究不只產生素材，也檢查幾何、尺度、物理與切割可行性。若模擬裡的刀穿過物件，卻沒有合理接觸，資料多也未必有學習價值。

可以把品質控制理解成先排除不合用的練習題。數量增加只有在資料仍符合任務時才有幫助，否則可能讓策略學到現場不可能發生的關係。

研究還調整軌跡，使成功動作能適應附近的形狀變化。這說明資料擴充不只是換一張圖片，而是讓物件、接觸與動作一起維持可行。

對其他研究團隊，值得借鏡的是這個檢查順序。先確認模擬描述了什麼，再看增加資料後的表現，才能知道收益來自合理變化，還是測試條件太接近。

資料增加之後，控制策略仍要能在切割階段及時反應。

觸覺與分階段動作如何影響控制？

切割時縮短一次執行的動作範圍，能讓新的接觸訊息更快進入控制。

視覺能告訴系統刀與食物大致在哪裡，但觸覺提供的是接觸後的線索。觸覺資料是描述碰觸狀態的資訊，對容易變形的材料尤其重要。

假設食物外觀看起來仍在原位，實際卻已在手指間滑動，僅靠開始時的影像就可能判斷太慢。新的接觸資訊，讓策略有機會更早改變動作。

動作不能一次安排太長，再等全部做完

動作片段是一次預先提出、接著執行的一段動作。片段較長，可以減少反覆規劃，但在物體快速變化時，也可能讓系統太晚看到新的狀態。

DexNinja 依階段調整片段長度，在較需要觸覺回饋的切割階段使用較短片段。手臂與手部也分開預測，讓不同工作有各自的控制安排。

這項設計回答的是何時讓新資訊進入動作，不是保證每次更新都會正確。觀察品質、選出的動作與硬體執行，仍會共同影響結果。

用移除一個部分的實驗，觀察它是否有用

研究的消融實驗，是拿掉特定組件再比較結果的方法。這能幫忙看出設計對同一套設定的影響，避免只因新方法名稱較長就認為更有效。

專案頁報告，在對照預算相同的條件下，移除觸覺觀察後，切割成功率由 50% 降到 43%。這支持觸覺在該設定有幫助，不能直接當成所有硬體的固定增益。

失敗也可能來自其他地方。刀路不合適、食物重建有誤或動作結束判斷錯誤，都可能讓切割不完整，因此不應把全部改進都歸給觸覺。

對讀者而言，方法的價值在於每個部分有可比較的角色。資料擴充幫助看過更多情境，回饋與分階段動作則幫助在執行中接住變化。

這些設計的效益，要回到同條件實驗才能確認。

31%、50% 與 63% 分別代表什麼？

主實驗和資料規模實驗回答不同問題，因此不能混成單一路徑的成績。

主實驗以四類食物測試，每類 25 次，合計每種訓練方式各有 100 次真實測試。31% 與 50% 因此是同一主實驗中，不同資料組合的比較。

只用真實示範時成功 31 次，結合真實與模擬資料時成功 50 次。差距是 19 個百分點，不是直接把後者說成普遍成功一半的產品承諾。

先知道成功怎麼算，才能理解分數

研究把完整切過食物、形成可分離兩半並安全結束列為成功條件。只讓刀往下移動，或已切入卻沒有完成，都不等於同一種結果。

這也說明，動作進展與成功率不同。模型可能做了很多步，仍沒有交出符合要求的切割，不能因為過程看起來流暢就補成成功。

四類食物的困難也不一樣。平均數適合看整體趨勢，但要評估自己的材料，仍需要回到對應類別，而不能只引用最好的那一項。

63% 是另一個資料規模測試

研究另固定真實資料，增加模擬回合，加入 300 個模擬回合時取得 63%。這個結果在測資料量的作用，不是主實驗直接從 31% 一路升到 63% 的同一設定。

模擬回合是一段完整任務經驗，不等於三百張圖片。每段包含觀察與動作關係，因此不能只用檔案數推估訓練內容。

更大的數字也伴隨額外生成、篩選與訓練工作。若要比較方法是否划算，應把增加資料的成本算進去，而不只挑最高成功率。

引用這些數字時，需要一併保留主實驗與資料規模實驗的設定，避免把研究結果縮成一個沒有條件的宣傳數字。

資料增加的方向，要對應真正的失敗

假設某類食物在接近時就常滑走，補充切割末段資料未必有用。因為失敗已發生在前面，所以應先比較抓取與接近條件，而非只增加總回合數。

同樣地，如果刀已通過一部分卻無法完成，問題可能出在接觸更新或材料變化。把失敗階段記清楚，才能讓新增資料對準原因，避免一直重做容易的片段。

這種分析不會把研究結果擴大，反而讓分數更有用途。當團隊知道哪類案例改善、哪類仍失敗，就能決定下一輪該補示範，還是修改模擬條件。

成功定義清楚後，才看得出尚未解決的失敗。

這距離自動廚房還有什麼差距？

在同類食物的新個體上成功，仍比完整廚房的任務範圍窄。

這項研究驗證的是切割策略與資料方法，並沒有完成備料、清洗、保存與所有廚房工具的整合。把食物切開，是完整烹調中的一個工作片段。

假設要在真實廚房使用，材料狀態、擺位與工具更換都可能改變。固定場景表現有用，但仍需要確認這些變動對操作造成什麼影響。

多次切割會把前一步誤差帶到後一步

切完第一刀，物件的形狀與支撐方式就變了。接下來不能完全沿用未切之前的假設，所以長序列比單次成功更能考驗觀察與恢復。

這裡是在分析任務範圍，不是替研究加入尚未公布的廚房成效。評估時應看每個階段是否重新取得合適資訊，以及失敗後能否回到可處理狀態。

如果物件已損壞或移到無法拿取的位置，重新執行原動作未必有意義。研究工具的使用者需要分清可重試與需要人工接手的情況。

其他團隊可以先比較資料與控制方法

第一輪可選一類固定材料，保留已確認的真實測試，再比較加入模擬資料前後。這是研究評估建議，目的在找出增益，而非複製最高分即可部署。

測試集應保留未參與調整的新個體，並記錄失敗方式。如果只反覆測熟悉形狀，可能高估泛化，無法知道新材料來時需要補多少資料。

硬體與刀具也要保持可比較。換了夾持方式又換模型，就很難知道差異來自資料、控制或機構，研究結論也不容易轉給下一個團隊。

2026 年 10 月 15 日查閱時，專案頁的程式碼仍標示即將公開。其他團隊可先閱讀方法與資產說明，不能把論文公開當成完整重現程式已可取得。

研究的可用價值，是讓其他團隊能比較資料與控制方法。

DexNinja 常見問題

DexNinja 已經能切任何食物嗎？

研究主要驗證特定類別內的新個體，不能直接推定所有材料與工具都適用。不同食物需要各自的測試證據。

31% 到 50% 等於提升 19% 嗎？

直接相減是提高 19 個百分點。若要談相對增幅，分母不同，寫作時應清楚交代，避免混用。

63% 可以當成主實驗結果嗎？

不能。63% 出自另一個增加模擬回合的規模實驗，應保留其資料設定，與主實驗的 50% 分開列出。

論文公開代表完成期刊審查嗎？

arXiv 公開不等於期刊審查。DexNinja 團隊另宣布 CoRL 2026 接受，這是不同的公開與學術審查資訊。

先比較資料怎麼改進動作，再看最高成功率

DexNinja 讓真實到模擬的資料流程有了可檢查結果。對研究者，保留相同食物、硬體與成功定義，分析資料和觸覺各自帶來的改善，比直接把最高分當成廚房成熟度更有用。

想持續追蹤機器人如何理解接觸與變形，可以免費訂閱 AI 郵報，並從一個固定材料任務比較資料與失敗紀錄。

延伸閱讀：Daimon TWM 是什麼？機器人串珠與做帆布袋，觸覺世界模型解決哪個難題？

延伸閱讀：Gemini 機器人看影片學投沙包：七連中示範，模擬訓練改變了什麼？

資料來源

• DexNinja 研究專案與完整實驗結果。
• DexNinja arXiv 論文。
• 研究作者 CoRL 2026 接受貼文。