NVIDIA Cosmos 模擬配方更新，固定道路與動作改天氣，資料生成與部署怎麼接？
NVIDIA Cosmos 模擬配方把控制條件、資料生成、互動評估與 NIM 部署接成流程。本文比較 Transfer-Auto、Sim-Auto 與機器人外觀生成，整理輸出檢查、GPU 記憶體與延遲、吞吐配置的差異。
自駕與機器人團隊需要反覆測試同一組動作，卻很難每次等到不同天氣，或重新搭好完全相同的場景。當環境與動作一起變動，就不容易辨認模型究竟在哪種條件下出問題。
Cosmos 模擬配方的新工作流程，便從控制這些條件開始。NVIDIA 於 2026 年 11 月 2 日公布技術文章，說明如何從已釋出的模型與範例資料，重現生成、檢查與部署。
官方示範把白天道路改成雨夜，同時保留道路布局與車輛軌跡。另一種機器人流程，則以深度影片保留幾何與動作，再改變畫面中的光線、材質與背景。
這讓團隊可以沿著同一組控制條件產生不同觀察，接著用於資料準備或政策測試。政策在這裡指的是機器人根據看到的狀況，決定下一步動作的方法。
這次更新值得關注的是配方如何接起工作。從離線影片、互動回饋到推論服務，各自需要不同輸入與硬體配置，先分清用途，才容易把官方範例轉成自己的測試，詳見NVIDIA 官方技術文章。
Cosmos 模擬配方為何從控制條件開始？
固定道路布局與動作，才能讓天氣或外觀變化成為可比較的條件。假設同一輛車原本沿著固定軌跡前進，團隊就可以觀察畫面改成夜間後，感知模型的反應有何差別。
NVIDIA 的自駕配方使用 World Scenario Map，簡稱 WSM，描述場景控制資訊。它包含車道、物體、道路標線、交通標誌與道路邊界，讓生成畫面有可依循的空間條件。
提示詞則描述天氣、光線、時段與路況，也會搭配相機配置及視野的資訊。若加入起始相機影像，還能提供場景外觀的參考，讓文字要求與視覺條件一起影響輸出。
因此，這種安排讓團隊能分辨哪些部分希望保留、哪些部分希望改變。控制資訊保留空間與運動線索，提示詞則引導不同環境呈現，因此各次輸出有共同的比較起點。
如果需要同時產生相機與 LiDAR 資料，配方還使用高精地圖相關控制。LiDAR 透過雷射測距提供空間觀察，因此它和相機影像是否對齊，也會影響資料能否被後續系統共同使用。
生成雨夜畫面後，團隊仍須檢查它保留的控制條件。道路與車輛軌跡看起來一致，是視覺與控制對應的問題，而濕滑路面的實際摩擦與煞車反應，另需適當模型與測試支持。
這讓配方的用途更具體。它提供可控制的資料生成方法，團隊再依感知、政策或其他評估需求，決定哪些輸出符合自己的驗收條件。
控制條件準備完成後，下一個選擇就是一次生成完整片段，或讓觀察隨著動作逐步更新，這會決定資料如何進入後續工作。
Turn a daytime drive into a rainy night while keeping the same road layout and vehicle trajectories.
— NVIDIA AI (@NVIDIAAI) November 2, 2026
New NVIDIA Cosmos simulation recipes help developers generate data and test policies for autonomous vehicles, robots and surgical applications. 🧵 pic.twitter.com/ULbm6vJQnA
官方功能示範。 來源：官方原始貼文。
離線生成與互動模擬怎麼分？
Transfer-Auto 與 Sim-Auto，對應整段影片生成與逐步回饋兩種方式。前者適合先產生資料，再拿去訓練或測試，後者則讓觀察能隨著政策動作持續更新。
Transfer-Auto 先生成可檢查的片段
Cosmos3-Nano-Transfer-Auto 使用雙向生成，一次處理整段多視角片段。官方將它定位於離線合成資料工作，讓同一組道路場景可以產生不同外觀條件。
官方描述支援每秒三十格的輸入與輸出，在指定解析度下可生成最多四百格。更長序列則可透過分段延續處理，但實際結果仍要依相應設定與範例條件確認。
技術文提供的參考執行使用四張 GPU，搭配七個同步 WSM 影片、各相機描述、第一格影像與 LiDAR 控制。這些輸入共同決定生成什麼，不能只取其中一行指令就當成完整工作。
參考輸出包含七個七二〇畫質影片，每個二百九十七格，以及九十九次 LiDAR 掃描。這些是官方範例的實際輸出條件，方便開發者判斷重現是否得到相符的資料結構。
產生檔案之後，官方要求先查看結果紀錄是否成功，再檢查 LiDAR 的距離與強度是否為有效數值。接著還要確認 WSM 對齊，以及不同相機與 LiDAR 之間的一致性。
如果某個視角與控制資訊對不上，就可能影響其他模型對同一場景的理解。因此，Cosmos 範例把跨視角一致性列為輸出檢查，而開發者換成自己的相機配置後，也需要重新確認相同關係。
因此，生成完成與資料可用之間，還有一段明確的檢查流程。團隊若要把輸出接進自己的資料集，應保留這些檢查結果，後續才知道是哪組控制與設定產生了可採用的資料。
Sim-Auto 讓觀察回到下一個動作
Cosmos3-Nano-Sim-Auto 是逐步生成的版本，從 Transfer-Auto 經蒸餾而來。蒸餾可以理解為讓模型學會用較精簡的計算方式重現能力，這裡用於支援逐步更新的觀察。
在互動流程裡，自駕政策或人類駕駛輸入會改變場景，再由 WSM 轉成生成條件。模型產生相機與 LiDAR 觀察後，資料回到政策，政策再決定下一步。
這種讓動作影響下一次觀察的方式，稱為閉環評估。它適合研究一連串決策會如何展開，而離線片段則先固定資料，兩者回答的問題與準備方式各有不同。
所以，官方也提供預先渲染控制資料的參考流程，讓開發者先重現逐步生成，再延伸到自己的人為輸入或政策。先有一致的基準，後續比較新設定才容易辨認差異。
自駕範例建立了控制與觀察的關係，機器人配方則把同一問題帶到動作、幾何與場景外觀，詳見Cosmos Framework 官方儲存庫。
機器人場景如何保留動作、改換外觀？
Sim-Transfer 用深度影片與提示詞改變 RGB 畫面，同時保留幾何與運動。深度影片提供距離與形狀線索，生成模型再依文字補上不同光線、材質與背景。
因此，這適合用來觀察同一個動作在不同視覺條件下的呈現。機器手臂原本完成一段移動，團隊可以保留這段幾何與動作，再產生不同場景外觀供後續研究。
NVIDIA 特別說明，在這類流程裡，物理狀態由模擬器維持，Sim-Transfer 負責產生視覺觀察。這個分工能幫開發者理解，畫面中的變化與底層動作狀態各由哪一部分處理。
因此，若目標是研究光線對影像模型的影響，可以重點檢查外觀與幾何是否對應。若要研究接觸、力度或其他物理效果，就還需要檢查模擬器與任務本身的設定。
官方另有從場景與機器人動作直接產生下一次觀察的流程。不同配方對輸入與控制方式的假設不同，開發者應依任務需要選擇，避免把所有生成方式都當成相同介面。
Cosmos Framework 也提供訓練、推論、最佳化與問題排查的代理技能。技能把參考工作整理成代理可執行的流程，團隊仍需要指定模型、資料與配方，讓工作保持清楚範圍。
官方範例提示詞要求固定版本、驗證資料，並把訓練與評估的回合分開。它也要求保存設定、設定 GPU 時數上限，再用保留資料比較原模型與修改後的結果。
因此，這種安排讓代理的角色集中在重現與整理流程。資料品質、模型輸出與評估條件仍有明確紀錄，成員才能知道一次變更對結果帶來什麼影響。
生成方式確定以後，還要把模型放進符合實際需求的推論環境。這是官方文章接著介紹 NIM 的原因，也讓配方從研究輸出延伸到應用服務。
NIM 部署如何對應 GPU 與驗收？
部署從挑選可支援的配置開始，確認容器就緒後才送出第一個推論請求。NIM 將模型和相關推論工具整理成可部署的容器，應用程式再透過介面取得結果。
因為容器需要使用硬體，官方部署說明從 Linux 上的 NVIDIA 驅動程式、Docker 與 NVIDIA Container Toolkit 開始。這些工具讓容器可以使用 GPU，因此在下載模型前，先確認容器環境能正確取得設備，是重現流程的一部分。
取得模型還需要 NGC 個人金鑰並啟用目錄存取。文章示範把模型快取保存在主機指定位置，這也代表設備除了顯示記憶體，還需要足夠磁碟空間存放容器映像與模型檔案。
容器啟動後，官方要求等待就緒檢查通過，再查看實際選定的模型與配置。這能讓開發者確認執行的是預期版本，而啟動紀錄也提供排查下載、載入或配置問題的依據。
所以，硬體需求要跟著 Cosmos 模型與工作看。相同 Cosmos 名稱下，推理與生成使用的記憶體不同，精度、是否把部分資料移出 GPU，以及同時處理多少工作，也會影響可用配置。
例如官方表格列出 Cosmos3-Nano 生成工作在特定配置下，較高精度需要五十八 GiB，而較低精度為四十四 GiB，再搭配移出記憶體的方式約三十一 GiB。這些數字提供配置參考，仍要和完整支援表一起閱讀。
因為工作目標不同，官方也區分低延遲與高吞吐模式。低延遲著重讓單次回應快些，高吞吐則讓同一段時間完成更多要求，適合資料生成或同時服務多位使用者的工作。
其中，Generator 的低延遲配置支援一、二、四或八張 GPU，高吞吐模式則要求二、四或八張相容 GPU，而且需要同時有多個請求才能發揮用途。
因此，在單張 GPU 的範例裡，只把模式改成高吞吐，會無法選出對應配置。這說明部署設定需要一起對照硬體與工作型態，不能把模式名稱當成可以任意切換的選項。
如果目標是互動測試，單次回應時間會影響政策多久才能取得下一個觀察。若目標是批次準備資料，則可能更關注整批工作完成多少輸出，這使得相同模型也需要依使用情境比較配置。
官方報告的 H200 約兩至三倍平均加速，來自特定推論最佳化測量。要估算自己的服務效益，仍須記錄模型、配置、品質與等待時間，讓速度比較保有相同前提。
對準備導入的團隊，先重現一個配方，再保存輸入、版本、記憶體與輸出檢查結果，就能建立後續比較的基準。當換成自己的感測器或動作空間，才看得出需要調整哪一部分，詳見Cosmos 部署與硬體配置說明。
延伸閱讀：NVIDIA 發布 Cosmos 3：全球首個開放式 Physical AI 全模態基礎模型
延伸閱讀：Cosmos3-H-Embodied-Nano 開放手術機器人研究模型：同時預測動作與影片，二點四秒能說明什麼？
Cosmos 模擬配方常見問題
這次是重新發布 Cosmos 3 模型嗎？
本次技術文章聚焦已釋出檢查點的模擬配方、輸入準備、輸出檢查與部署。閱讀重點在於如何把模型接成工作流程，與先前介紹基礎模型能力的事件有所區別。
生成雨夜就代表能驗證真實雨天駕駛嗎？
配方能依控制條件改變畫面外觀，實際駕駛仍牽涉感測器與物理環境。團隊要依測試目的確認哪些變因受到控制，再用適合的方法驗證真實政策表現。
一定需要八張 H100 才能用嗎？
官方不同範例對應不同硬體需求，不能把某個訓練設定當成所有推論的共同門檻。應依模型、精度、生成工作與服務模式查閱對應配置，再決定設備是否符合要求。
Cosmos 模擬配方讓控制條件、生成觀察與部署之間有了可重現的接法。對已有資料與模擬能力的團隊，先完成一次帶有輸出檢查的參考流程，再擴到自己的場景，最容易看出它能支援哪段工作。
想追蹤 AI 模型、機器人與開發工作流程，歡迎免費訂閱 AI 郵報。
