Cosmos3-H-Embodied-Nano 開放手術機器人研究模型：同時預測動作與影片，二點四秒能說明什麼？
Cosmos3-H-Embodied-Nano 是 NVIDIA 公開的手術機器人研究模型，同一個 16B 模型能預測影片、推估動作與產生策略。本文解釋二點四秒視窗、官方誤差評測、資料可得性與部署條件，分清研究成果和臨床能力。
Cosmos3-H-Embodied-Nano 把手術機器人的影片與動作接在一起。研究者看到機器手臂在內視鏡畫面移動時，可能想知道：已知動作會出現什麼畫面？又能否從畫面推回動作？兩個方向需要的輸入與檢查方式不同。
NVIDIA 在 2026 年 10 月 20 日公開 Cosmos3-H-Embodied-Nano，把影片預測、動作推估與控制策略放進同一個模型，供手術機器人研究使用。
控制策略指依眼前狀態決定接下來的動作。這個模型能根據第一張畫面、任務文字與先前動作，預測後續動作和影片，也能反過來從影片推估動作。
但每次預測只涵蓋二點四秒的片段，官方測試也以保留的資料檢查影像與動作誤差。這些結果不能直接變成真實手術的成功率或安全證明。
需要建立機器人模擬、動作標註或策略評估的研究團隊，可以把它當成可取得的起點。需要可直接照護病人的系統，這份研究模型並沒有提供那種驗證。
要理解同一個模型為什麼能做三種工作，先把每種模式已知什麼、需要預測什麼分清楚。
Cosmos3-H-Embodied-Nano 的三種模式，各在預測什麼？
正向模式用動作預測影片，反向模式從影片推估動作，策略模式則把後續動作與畫面一起產生。差別在於哪些資訊已知，模型還需要補出哪些內容。
依 NVIDIA 官方模型卡，這三種工作共用一套模型權重，並非下載三個各自獨立的模型。權重可以理解為模型訓練後保存的參數。執行時改變提供給它的條件，便切換要預測的方向。
已知動作，和讓模型決定動作，有何不同？
正向模式先取得起始畫面與接下來的動作，再預測影片。因此研究者可以檢查同一組指令會讓畫面如何改變，或比較不同動作下的生成結果。這裡的動作是研究者已經提供的，不是模型自行規劃。
反向模式把整段影片當成已知條件，輸出對應的動作數字。它可用於研究影片到機器運動的標註，讓沒有直接動作標籤的觀察資料有機會被整理。不過推估值仍須核對，不能因為影片看得懂就當成精確量測。
策略模式則只知道起始畫面、任務文字與之前的動作，接著同時產生未來動作和預期畫面。它試圖回答的是「接下來怎麼動，以及可能看到什麼」，比單純生成一段手術風格影片多了動作輸出。
官方把它定位為前代 Cosmos-H-Surgical-Simulator 的後繼研究模型。前代只處理正向影片預測，新版擴大到另外兩種模式。這是工作種類的改變，沒有因此證明每一種機器人或每個評測都全面進步。
三種模式共用模型，但動作數字必須對應到機器人的座標與控制方式，才有可比較的意義。
二點四秒視窗與動作表示，限制了哪些判讀？
每次輸入與輸出都圍繞短時間片段，動作也要依對應機器人的統計與座標方式轉換。否則相同的一串數字，放到另一台機器上可能不是相同的動作。
官方規格中的二點四秒，包含一張起始畫面、二十四張未來畫面，以及二十四個動作步驟，動作取樣率為每秒十次。這裡描述影片時間和動作資料的排列，並沒有說模型只花二點四秒就能算完。
模型還能參照最多十六個過去動作，讓預測不只依賴一張靜止圖片。這是短期動作歷史，不能理解成記住整場手術。在一段紀錄剛開始、歷史還不夠時，實際提供的步驟也會比較少。
為什麼雙臂二十個數值，會變成六十四個欄位？
動作表示記錄每支手臂末端相對於目前位置的移動、旋轉和夾爪指令，雙臂每步合計二十個數值。進入模型前會補成六十四個欄位，沒有使用的部分會被標記忽略，所以六十四不是機器人的實體自由度。
各類資料還會使用自己的統計，把原始動作轉成較一致的數字範圍，這個過程稱為正規化。模型也依機器人識別選擇對應的動作轉換。因此研究者不能只看輸出的數字很小，就推斷機器手臂只偏差幾毫米。
同一個動作數值必須連同起始位置一起理解，因為官方把平移寫成世界座標中的位置差，旋轉則相對於目前姿態。所以換到自己的手臂時，若只沿用相同數字、沒有對齊座標，便可能把預測內容解讀成另一種移動。
公開程式可以逐段延伸影片，用上一段最後一張生成畫面開始下一段。這讓總長度可以超過二點四秒，卻同時把前一段的錯誤帶進下一段。短片預測成立，和長時間動作都保持一致，是不同的研究問題。
資料表示對齊之後，仍要確認這些動作來自哪些訓練環境，哪些資料實際能取得。
訓練資料與公開成果，能重現到什麼程度？
模型使用十五個資料家族訓練，但目前只有其中十一個家族能從公開平台取得，完整原始訓練並非全數可重建。模型開放下載，和所有訓練素材都公開，需要分開確認。
這裡的家族，是按來源與機器人設備整理的資料群組，因此同一家族裡仍可能包含多組資料。
這些家族合計包含五十五組資料來源，涵蓋不同研究機構、機器手臂及操作場景。原始資料由人類專家遙控手臂，記錄同步影片、運動資料與任務文字。模型學到的是這些示範中的關聯，並不是自行經歷了相同數量的真實手術。
官方也列出四個未公開的家族，以及部分未公開的資料根目錄、文字描述與一組影像串流。即使取得公開部分，也不能把下載完成稱為完整重建原訓練集，重現結果時應交代自己實際使用哪些來源。
資料約以九成五訓練、半成保留驗證，讓評估使用訓練時沒看過的紀錄。這能檢查對同一類資料的預測，但沒有直接證明換到新的機器人或醫院仍有同樣表現。要研究新的設備，仍得先確認它的影像與動作表示是否落在原本涵蓋的範圍。
16B 模型如何利用這些訓練資料？
名稱中的 Nano 是產品系列稱呼，這個模型實際約有一百六十億個參數，也就是 16B。它沿用 Cosmos3-Nano 的架構，結合理解輸入的部分與生成影片、動作的部分。後訓練保留理解部分，更新生成與相關轉換等約七十億參數。
官方程式庫進一步交代，已發布模型共訓練五萬次迭代，但只有最後三千零六十三次採用目前提供的十六步動作歷史做法。較早的訓練沒有這段歷史，不能把五萬次全部描述成同一套設定。
三種模式在訓練中也分配不同份量，正向與策略各占四成，反向占兩成。這能交代模型怎麼接觸不同工作，卻不是三種用途的成功率。同樣地，公開訓練配方使用三十二張 GPU，是研究設定，沒有直接定義每位使用者的最低需求。
延伸閱讀：NVIDIA Flora 是什麼？機器人資料引擎宣稱低 125 倍成本與非商用授權怎麼讀
因此，公開程式讓研究比較有起點，效果仍要回到保留資料上的實際測試。
官方動作與影片評測，改善與落差在哪裡？
官方測試顯示部分動作誤差降低，但不同機器人、取樣方式與影片長度的結果有明顯差異。這些數字是團隊自報，本文沒有另行執行模型重現。
三模式評估取自十個具有保留驗證資料的公開家族，每個選六十四個片段，共六百四十個。測試單位是短片，範圍也限於這十個家族，與全部十五個家族及完整手術的評估有所區別。
平均動作誤差，和挑四次最好的結果不同
動作使用均方誤差比較，也就是把預測與原始紀錄的差距平方後取平均，數值越小越好。誤差是在正規化後的動作空間計算，因此不能直接換算成距離或角度，更不能換算成臨床成功率。
全體資料的反向模式誤差為零點零零九，策略模式平均為零點零五二。作為比較基準的簡單方法，會對同一家族每個片段都輸出平均動作，誤差為零點零七五。這支持模型在這些短片資料中學到一些動作關係，但比較對象並不是完整的醫療控制系統。
策略模式每個片段生成四次，再取其中最好的結果，可以把誤差降到零點零三三。不過事後挑出最接近紀錄的一次，和實際使用時第一個輸出就正確不同，不能省略「四次挑最好」的條件。
分組結果也有例外：CMR Versius 的策略平均誤差為零點一零一，高於簡單基準的零點零九一，挑四次最好的結果才較低。平均改善不能掩蓋特定機器人資料仍可能表現較差的情況。
畫面比較相像，也可能沒有跟對工具
影片評分會衡量生成畫面和原始紀錄的像素差異，也有比較整段外觀與動態的指標。官方提醒，靜止組織占據大量畫面，這些分數可能因此受到影響，無法單獨證明器械確實跟隨指定動作。
與前代的比較也只限兩者都有的正向模式。在部分 dVRK 短片中，新版的像素指標改善。換成 CMR Versius，結果較混合，前代在某些動態與工具位置指標反而較好。
把影片延長到三十一點二秒後，新模型約從六秒之後出現更快的模糊與劣化，前代退化較慢。這和訓練主要使用短片有關，也說明「能一直接著產生」不能取代長時間一致性的驗證。
這些差異決定研究者該選哪種模式，也讓使用前的資料對齊與完整流程檢查無法省略。
研究團隊要使用模型，先核對哪些條件？
模型與外掛已公開，但使用者仍要準備相容框架、動作轉換與自己的評估資料。取得檔案只是開始，研究者還需要知道模型收到什麼，以及輸出如何對回原本的紀錄。
官方提供的外掛建立在 cosmos-framework 上，並列出已驗證的框架版本。權重需要轉成框架使用的分散式檢查點格式，第一次執行也會取得影片編解碼器及文字處理元件，不能只把一個檔案放進任意聊天程式。
環境方面，官方測試 Linux，以 H100 作為測試硬體，並列出 Ampere、Hopper、Blackwell 架構支援。測試的 BF16 是模型計算時儲存數字的一種格式，這份說明沒有提供一般筆電或其他格式的同等驗證。是否能執行，仍要核對實際硬體與記憶體。
公開的策略伺服器可以接收目前畫面、文字和動作歷史，回傳二十四個動作及預測影片。它提供研究程式之間傳送資料的方式，沒有替使用者完成實體手臂的控制接線、校準與驗證。
如果想比較另一種提供方式，API 是讓程式呼叫服務的介面，能把執行模型的部分工作交給服務端。這和自行準備框架、硬體的方式不同，實際回傳的內容與評估條件仍要逐項核對。
延伸閱讀：Dream-1 是什麼？機器人世界動作模型 API 每小時 3 美元，零樣本成績怎麼讀
模型權重適用 NVIDIA Open Model License，程式與其他元件也各有條款，不能把整組下載內容概括成 Apache 授權。
若使用自己的影片，尤其含有個人健康資料，還要先具備相應使用權限，官方也提醒生成不會自動替畫面中的人去識別。
我的判斷是，這次開放最有價值的地方，在於把同一份影像與動作資料拿來檢查三種預測關係，讓研究者能追查錯誤出在哪一段。先重現短片段的一種模式，再用相同座標與資料檢查誤差，才有根據決定是否延伸到自己的機器人研究。
Cosmos3-H-Embodied-Nano 常見問題 FAQ
這次需要下載三個模型嗎？
三種模式共用同一套模型權重，以不同已知輸入決定預測影片、動作或兩者。不過執行環境仍包含其他元件，共用權重不代表只有一個檔案就能使用。
二點四秒是生成一段影片所花的時間嗎？
它指每次預測涵蓋的影片與動作時間窗。每秒十次則是動作取樣率，兩者都不能直接當成推論速度。
官方測試通過，就能接到病人的手術機器人嗎？
官方公開的是研究模型，以及保留資料上的動作與影片評估。這些結果沒有提供臨床有效性或病人安全的證明，不能代替實體系統與醫療用途所需的驗證。
