VFlash 視覺規劃研究，機器人為何不用逐字寫完每一條軌跡？

機器人準備移動前，常得先畫出物件位置與行進路線。如果每個座標都要像句子一樣逐字寫出，規劃愈細，等待時間就愈長。

NVIDIA 研究團隊在 11 月 5 日提交 VFlash 預印本，嘗試一次生成一整組有固定格式的視覺座標，讓機器人更快拿到可用的空間計畫。

這個方法借用座標本來就有結構的特性。例如軌跡需要幾個點、每個點有幾個維度，在輸出開始前往往已經知道。

因此，系統可以同時填入多個座標位置。自由文字則保留另一套檢查方式，避免把規劃格式與一般語言生成混在一起。

我會把它視為值得機器人研究者測試的規劃加速方法。它有助於縮短特定運算環節，但整機表現仍取決於觀測、動作模型與控制更新的配合。

理解成果之前，得先看視覺規劃如何進入機器人的下一個動作，以及它為什麼適合並行生成。

VFlash 為何把座標視為一整組視覺規劃？

座標的位置與數量具有可預期結構，因此不一定需要沿用生成句子的逐字順序。研究頁面把點、物件框與軌跡都視為可以直接處理的空間單位。

視覺語言模型能讀圖片與指令，再用文字或座標表達理解。對機器人來說，指出目標在哪裡、下一段路徑往哪裡走，往往比一段完整敘述更接近控制系統需要的資訊。

但傳統自迴歸生成每次預測下一個 token，也就是模型處理的一小段字詞或數值。即使後面只是另一個座標，仍要等前一步完成，再進行下一步。

如果一條軌跡有很多點，等待就會一段段累積。當場景還在改變，控制器可能拿到一份已經落後的計畫，因此速度會影響它能多久重新觀察與調整。

輸出格式先告訴模型每個位置代表什麼

一個框可以由幾個角落座標描述，一段路徑則包含連續點的位置。當工具事先要求某種格式，系統就知道哪些位置應該填平面座標、哪些位置屬於深度或分隔標記。

VFlash 把這種已知結構當成並行預測的基礎。它不必先把完整輸出當成自由句子，再逐步猜測下一個數字的位置。

這和省略所有中間思考不同。方法利用的是輸出結構，讓同一個幾何物件裡的多個位置一起生成，而不是假設所有文字都可以任意同時填完。

因此，適用對象集中在有明確座標結構的視覺規劃。一般開放式問答仍有前後文字依賴，不能直接把相同加速方式套到每一種聊天任務。

一旦輸出單位從字詞改成整個幾何物件，模型的訓練與接受條件也會改變。

輕量草稿模型如何產生整條軌跡？

草稿模型讀取主模型的特徵，再依已知格式一次填完多個空間位置。主模型保留較完整的觀測與語意理解，草稿模型則專門減少輸出座標的串行等待。

論文多數實驗使用經任務調整的 Qwen3-4B 作為主模型，再凍結其參數。凍結代表這一階段不再更動它，訓練集中在另外的草稿模型。

草稿模型有五層、約五點三七億個可訓練參數。它根據主模型提供的內部特徵，學習在各個座標位置放入正確數值，因此不是把另一套完整大模型從頭訓練一次。

學習目標是空間答案，接受條件先看結構

訓練使用標註好的視覺單位，直接學習座標應該落在哪裡。這讓方法以空間準確度為目標，而不是要求草稿每個字都和主模型逐字生成的答案相同。

這個差異很重要。兩組數值即使字面不同，也可能描述接近的幾何位置，因此硬要求每個 token 完全一致，可能浪費原本可以接受的空間預測。

不過，結構合法只表示輸出符合要求的格式，並未證明物件真的在那裡。模型仍可能產生形狀正確卻位置偏離的框，所以品質需要另外用標註資料檢查。

方法也保留退回逐步生成的路徑。當草稿不符合結構要求，就改用受格式約束的自迴歸生成，物件框還有額外的空間信心檢查。

文字與座標使用不同路徑

一般文字繼續使用主模型驗證的草稿方式，空間區塊則依自己的格式條件接受。這讓系統可以在同一個任務裡處理說明與座標，並依輸出種類選擇合適方法。

接受一個空間區塊後，主模型仍要讀入結果，更新保存的上下文。這一步讓後續生成知道剛才已經產生什麼，因此並行化並沒有把主模型完全移出流程。

密集動態預測也有相同邊界。一個影格裡的很多點可以一起預測，但後面的影格仍沿時間順序接續，不能把「影格內並行」寫成所有未來畫面一次生成。

這樣減少了串行等待，但是否有用仍要同時比較規劃品質與完整流程的時間。

25 倍與成功率 70.2%，分別測到哪個環節？

速度與任務成功率來自不同實驗，因此要把硬體、測試資料與比較方式放在數字旁。模型跑某個區塊快很多，不會自動讓所有後續工作等比例加速。

約25倍是初步單次生成測量

論文摘要把三維點動態預測的約25倍加速，標示為初步的單次生成測量。它用來呈現密集座標並行輸出的潛力，沒有證明整套機器人服務都會得到相同速度。

單次結果也無法代表不同場景下的波動。如果輸入複雜度、輸出點數或格式退回次數改變，實際耗時可能不同，因此仍需要更多重複測量來估計穩定表現。

論文也測量模型內部的影像編碼、視覺規劃與動作推論階段。NAVSIM 在指定邊緣設備、批次大小一的條件下約加快三點四至三點六倍，相較只看座標輸出涵蓋更多模型運算。

這個時間不含模型與檔案載入、預熱、量測模組以外的 CPU 前處理及輸出解碼。因此，不能把它當成感測器讀取到實際致動器動作的完整延遲。

批次大小一指一次處理一筆輸入，較接近單次控制更新的等待問題。它和同時打包大量輸入、追求整體吞吐量的伺服器測試，回答的是不同需求。

70.2%來自四組模擬任務

研究把 VFlash 視覺計畫提供給世界動作模型，再觀察 MolmoSpaces 四組操作任務的平均成功率。這種模型會把觀測與規劃轉成下一段動作，讓空間計畫真的參與控制。

報告的平均結果為70.2%，基準為62.6%。差距是七點六個百分點，不能把它寫成所有真實機器人都增加相同比例的成功率。

比較組的視覺條件也不同，因此它觀察的是整套條件安排的差異，不能只把全部增益歸因於生成速度。更快規劃與較有用的視覺資訊，都需要分開研究。

品質改善並非每個資料集全面一致

二維與三維機器人軌跡測試中，方法相對逐步生成降低了多項預測誤差。這表示並行生成不只可能節省時間，也可能學到更好的空間估計。

但密集動態預測有些指標改善，有些表現較弱。當預測對象、場景或評分方式改變，方法的取捨也會浮現，所以不能只取最好的一個數字描述全部任務。

計畫本身生成得快，只有在後續控制接得上時，才會轉換成任務上的改善。

為什麼動作模型仍需要判斷空間計畫？

視覺座標提供的是動作的條件資訊，控制模型仍要把它轉成符合當下場景的行為。位置、路徑與實際馬達運動之間，還隔著系統要完成的工作。

例如一個框標出目標物件，並沒有描述物體能否被抓起、手臂是否碰到障礙，以及接觸後會如何移動。這些條件需要由觀測、動作模型與控制流程接續處理。

因此，格式檢查可以排除缺欄位或座標種類錯誤，卻不能替代物理可行性判斷。評估時要把「輸出可被讀取」與「動作完成任務」分開記錄。

同樣地，更快得到計畫不表示必須立刻執行它。如果影像過舊、感測資訊缺失或環境突然改變，控制系統仍可能需要重新觀察。

視覺規劃讓錯誤更容易定位

顯式座標也有工程上的好處。研究者可以分辨目標位置選錯、軌跡估計偏離，還是動作模型沒有善用正確計畫，而不必把所有失敗都歸為模型不夠聰明。

這讓改進方法更具體。若問題出在看錯物件，增加輸出速度未必有幫助。若規劃正確卻等待太久，減少串行生成才可能更直接改善控制更新。

這項研究因此提供一個可拆解的設計方向，讓語言理解、空間預測與動作執行各自有可觀察的結果。方法是否值得採用，取決於自己的瓶頸落在哪一段。

規劃與控制各有工作，也讓研究者能更清楚定位方法有效與失效的原因。

哪些團隊值得研究，重現時要先固定什麼？

已經使用視覺語言模型輸出結構化空間資料的團隊，最容易判斷這個方法能否節省等待。因為輸出類型與座標數量已知，較能建立公平的逐步生成對照。

第一個要固定的是空間表示方式。同一個任務如果一邊只輸出幾個目標點，另一邊輸出密集軌跡，速度差異就同時混入了工作量差異。

其次是硬體與測量範圍。模型生成、影像編碼、資料搬移與動作推論各占多少時間，會決定某個區塊的改善能否在完整系統裡被看見。

還要記錄何時退回逐步生成。因為輸出格式較難、信心較低的場景，可能無法維持與簡單案例相同的加速幅度，平均值會掩蓋這些情況。

若研究者準備更換草稿大小，也要重新量測規劃品質。額外參數可能改善座標預測，卻同時增加生成成本，因此架構選擇不能只用單一速度數字決定。

最後要把品質和延遲一起看。速度較快但目標偏差變大，可能只是把等待換成下游修正，而非完成同樣工作所需的時間真的縮短。

公開程式入口提供後續研究起點。實際重現仍應鎖定版本與論文條件，避免把網站展示、不同版本摘要與測試表格視為同一組結果。

延伸閱讀：Verne V0.5 開放世界動作模型，影片學習如何接上工業機器人的即時控制？

延伸閱讀：RAX 新增 DeepSeek 與 Kimi 支援：凍結模型也能學機器人，便宜與成功率如何取捨？

當品質、時間與觀測條件放在同一張紀錄裡，並行規劃的實際價值才會清楚。

VFlash 常見問題 FAQ

VFlash 是新的通用聊天模型嗎？

它是一種讓視覺語言模型更快產生結構化空間計畫的方法，研究重點在座標與規劃輸出，沒有宣布另一個通用聊天服務。

25 倍代表機器人所有動作都快25倍嗎？

這是特定三維點動態預測的初步單次生成測量。完整感知、規劃與控制流程還有其他成本，不能沿用相同倍數。

70.2% 是真實機器人的成功率嗎？

它來自指定模擬環境四組任務的平均結果。不同物體、設備與實際場景，仍需要另外評估。

格式正確就代表動作安全嗎？

格式合法只說明輸出符合結構要求，位置準確度與物理可行性仍要由其他測試檢查，不能互相替代。

結論

VFlash 的研究價值，是利用空間輸出的已知結構，減少機器人等待座標逐字生成的時間。它讓視覺規劃有機會同時改善速度與部分預測品質，也保留不同任務的取捨。

機器人研究團隊可以先追蹤論文與程式更新，選自己的單一規劃任務比較逐步與並行生成，再看改善是否延伸到完整控制流程。

資料來源

• NVIDIA VFlash 官方研究頁
• VFlash 預印本與首發紀錄
• NVIDIA 公開程式入口