Vera Rubin MLPerf Training 6.1 首秀:最高兩倍速度,為什麼要比相同 GPU 數?

Vera Rubin MLPerf Training 6.1 首輪成績最高接近兩倍,但 GPU 數量與測試不同。分清同規模比較、GB300 絕對紀錄、後訓練與未驗證重跑,再評估採購。

Share
NVIDIA Vera Rubin MLPerf Training 官方文章配圖,多座亮燈的資料中心機櫃並排
NVIDIA 官方文章以並排的資料中心機櫃呈現大型 AI 訓練系統。 圖片來源:官方原文。

AI 訓練硬體宣稱快兩倍,常讓人直接聯想到成本減半。Vera Rubin MLPerf Training 6.1 首次提交的結果,提供了較清楚的比較條件,也顯示同樣的倍數必須配合任務與 GPU 數量閱讀。

MLPerf Training 是以指定品質目標與工作設定衡量訓練時間的基準。它讓不同系統有共同測試方式,但榜單中的幾分鐘並不等於從零訓練一個完整通用模型的全部時間。

NVIDIA 在 2026 年 11 月 16 日公布,Vera Rubin NVL72 於七項測試中拿下六項最快成績。另一項的絕對最快時間,由規模更大的 GB300 系統取得,因此速度與系統大小要分開比較。

在相同 1,024 張 GPU 的 DeepSeek-V3 測試中,官方列出的時間為 4.14 分鐘與 8.03 分鐘。接近兩倍的差距在這個條件下成立,其餘工作負載的提升則落在其他範圍。

這些結果適合需要規劃大型訓練系統的團隊參考,但還不足以直接下採購結論。租金、電力、軟體版本與實際資料流程,仍會改變每次實驗的總成本。

要把測試成績用對,先得區分固定 GPU 數的比較與全場最快時間,因為兩者回答的是不同的資源規劃問題。

Vera Rubin MLPerf 成績比較了什麼?

固定 GPU 數量的測試,能看出指定工作負載在兩代系統上的時間差距。

NVIDIA 官方技術文章的同規模比較中,DeepSeek-V3 使用相同的一千零二十四張 GPU。Vera Rubin 為 4.14 分鐘,GB300 為 8.03 分鐘,相除約為 1.94,標題因此使用最高兩倍的四捨五入描述。

GPU 是處理大量平行運算的處理器。固定數量有助於避免把多買設備的效果直接當成新一代晶片的效率提升,但整套系統仍包含網路、CPU 與軟體,因此不能把差距完全歸給單一晶片元件。

其他測試的提升約為 1.4 至 1.6 倍,並有各自的 GPU 數量與模型。這表示最高兩倍描述的是本輪特定工作,不是所有語言模型、影像模型或企業自行寫的訓練程式都同樣翻倍。

MLPerf Training 量的是指定工作達到品質目標的時間。這是一套比較規則,不會把資料蒐集、清理、所有前置實驗與完整產品開發都計進那幾分鐘,因此不能據此宣稱完整訓練專案只需四分鐘。

對需要迭代模型的團隊,縮短這個階段可能增加同一時間內可做的實驗。但若資料準備或人工評估才是主要等待來源,整個專案週期就不會跟著訓練階段等比例縮短。

正式表格也列出提交編號,讓讀者能把模型、設備數量與結果連到原始紀錄。若之後要引用同一比較,保留這些編號比只寫新舊晶片名稱更清楚,因為同一平台在不同規模下可以有多筆結果。

相同模型也可能有不同訓練階段,例如以完整參數更新或附加少量參數調整。兩者運算與記憶體需求不同,因此即使模型名稱相似,也應先對照測試種類,不能把快某一項說成所有訓練都較快。

若需要向非技術同事說明,可以把比較寫成「同一指定工作、同樣設備數、達到同一品質目標花多久」。這種完整句子保留了倍數成立的前提,也讓團隊知道還缺哪些資料才能估算實際採購效益。

因此,閱讀數字時可以先問自己的工作是否與測試相近,再看比較是否固定相同規模。這兩個問題能避免把有意義的基準成績,擴成沒有條件的通用採購承諾。

當比較擴大到整場最快時間,系統規模也會改變答案。

NVIDIA Vera Rubin MLPerf Training 官方文章配圖,多座亮燈的資料中心機櫃並排
NVIDIA 官方文章以並排的資料中心機櫃呈現大型 AI 訓練系統。 圖片來源:官方原文。
輝達官方影片展示 MLPerf Endpoints 的代理式推論效能;片中的每瓦效能比較屬推論測試,並非本文 MLPerf Training 的訓練兩倍結果。 來源:官方原始貼文。

為什麼最快紀錄仍有 GB300?

更多 GPU 可以縮短總時間,因此絕對紀錄不等於單張 GPU 的效率排名。

本輪 DeepSeek-V3 的絕對最快紀錄,是 GB300 以一萬零二百四十張 GPU 跑出的 1.38 分鐘。這個系統使用更多設備,回答的是大規模叢集能把完成時間壓到多短,而非相同資源下誰更快。

兩個比較可以同時成立。相同一千零二十四張時,Rubin 的時間較短。把 GB300 擴到十倍 GPU 時,則拿到本輪最低總時間。若把兩者只排成一張沒有設備數的表,就很容易讀出錯誤結論。

原文還列出 Rubin 從二百五十六張擴到一千零二十四張,在該 DeepSeek 測試維持超過 97% 的整體擴展效率。這描述增加設備後仍接近理想加速,不代表所有任務或任何網路配置都具有相同效率。

大型模型會在運算節點間交換資料,因此 GPU 多了,通訊也可能增加。對這類工作,網路設計與軟體能否讓交換資料和計算重疊,會影響多買設備之後是否真的更快。

這也是為何企業不能只用 GPU 型號推估整套效能。相同處理器若接在不同網路、採用不同通訊設定或共享其他資源,仍可能出現不同的總時間,而設備配置需要留下可比的紀錄。

若主要目標是趕上明確期限,較大叢集的最短時間可能有價值。若希望固定預算做更多實驗,則還要比較設備用量與利用率。兩種需求會導向不同問題,不能只用全場最快回答。

理解系統規模之後,新加入的強化學習測試也更容易讀懂。

代理強化學習測試為何重要?

代理訓練會交替產生行動、取得回饋與更新模型,讓處理器和通訊都參與瓶頸。

本輪新增 Qwen3.5 397B 的 GRPO 工作,用來測強化學習後訓練。後訓練是在基礎模型之後,藉由任務與回饋調整行為的階段,而 GRPO 是其中一類利用相對回饋更新模型的方法。

這種工作會反覆產生回答或行動、執行環境、評分,再更新模型。因為流程交替使用生成與訓練,不同元件的資料交換、模型狀態搬移與環境執行,都可能影響完成速度。

官方列出相同一千零二十四張 GPU 下,Rubin 使用 TensorRT-LLM 的結果為 10.44 分鐘,GB300 為 13.78 分鐘。這個比較與 DeepSeek 的最高兩倍不同,因而不能直接沿用另一項的倍數。

Rubin 另有 vLLM 後端結果,時間為 10.94 分鐘。兩個後端都是支援推論的軟體,成績讓讀者看到同平台不同實作的差異,但不等於所有軟體相容性問題都已經被解決。

原文也說明 CPU 在模擬環境與工具執行的角色。這有助於理解代理訓練為什麼不只是一直輸出詞元,但不能把硬體展示的環境數量,直接當成任何企業代理工作都能同時處理的客戶數。

對研發團隊而言,這個新增項目的意義是基準開始測量更完整的後訓練循環。若自己的工作同樣需要大量回饋與環境執行,就可以檢查哪個環節受限,進而設計更貼近需求的測試。

硬體差距之外,軟體版本也可能讓同一套設備的時間改變。

官方成績與新版軟體實驗怎麼分?

通過本輪提交的數據與事後重跑的未驗證數據,具有不同的證據狀態。

正式提交使用特定軟體組合與規則,讓結果能在本輪被比較。文章列出預訓練、強化學習與影像等任務採用的軟體堆疊,提醒讀者成績屬於硬體和軟體共同工作的結果。

NVIDIA 同時提供提交截止後,用新版軟體重跑的數字,並清楚標記為未驗證。這些結果沒有經過本輪 MLCommons 的審查,測量方式或實作可能與正式提交規格有不一致之處。

因此新版重跑可以作為優化方向的線索,不能把它混進正式榜單,再宣稱所有提高的倍數都已獲同一套驗證。企業若有興趣,應先確認可取得的軟體版本與相同工作設定。

相同設備上的軟體改善也提示另一種選擇:既有系統可能仍有可優化空間。採購者可以先比較更新軟體的收益與換設備的收益,而不是因為新架構出現,就預設原硬體完全失去價值。

但新版軟體能否用在自己的系統,仍涉及模型、框架與維護條件。即使公開文章提供更快數字,也需要確認公司應用相容、結果品質一致,不能只把速度提升當成唯一驗收項目。

若要深入引用成績,可以保留MLCommons 訓練基準入口與提交編號,再記下查詢日期。這比只保存行銷圖表更容易在後續資料更新時,回到相同口徑核對。

採購評估因此需要把速度、驗證狀態與總成本一起保留。

企業怎麼把榜單變成採購測試?

拿自己的模型與資料流程做可比較的測試,才能估算實驗週期真正縮短多少。

第一步可以把目標模型、資料、品質指標與可接受的總時間固定下來。只有兩套系統真的處理相同工作,速度差距才有機會對採購有意義,否則比較可能只是測了不同難度的任務。

接著把設備數量、網路與軟體版本一起列入測試紀錄。若一套用了更多 GPU,另一套用了不同精度或不同批次大小,都應先說清楚,不能讓最後的倍數掩蓋設定差異。

費用則應由實際方案估算,包含設備或租用價格、使用時間、儲存與資料搬移。時間減半在租金不同的條件下,可能省錢、持平或更貴,因此不能直接把兩倍速度寫成一半帳單。

功耗也需要另量。單純知道任務較快,仍不知道系統瞬間耗電、整次工作用電或冷卻負擔,因此每瓦效能與總能耗需要對應資料,不能由訓練分鐘數自行推論。

若還有資料前處理、模型載入與驗證階段,可另外記錄它們各占多久。這樣才能看出主運算縮短後,哪個環節成為新瓶頸,並避免硬體升級後整條流程仍花差不多時間。

最後把測試保留成可重跑的工作,而非一次展示。當新版軟體、模型或硬體選項出現,可以沿用同一基準重新比較,讓採購依據持續更新,也讓團隊知道新增資源是否確實改善目標。

當快兩倍能接到可查的帳單與品質目標,才有完整決策依據。

Vera Rubin MLPerf 常見問題

Vera Rubin MLPerf 的最高兩倍,適用所有工作嗎?

不適用。它對應指定測試與規模,其餘任務的提升不同,企業仍需要測自己的工作流程。

4.14 分鐘代表完整訓練好一個 DeepSeek 模型嗎?

這是基準規定的工作與品質目標下的時間,不包含從資料準備到完整通用模型開發的所有工作。

新版軟體重跑也算正式成績嗎?

文章已標明未驗證的部分,不能當成同一輪已審查提交。引用時應分開驗證狀態、版本與條件。

把同規模速度、總時間與帳單分開,才有採購答案

規劃大型訓練資源的團隊,可以先從一個接近自身需求的基準項目出發,要求候選系統保留相同 GPU 數與品質條件,再估算總時間和費用。這能把最高兩倍的宣稱轉成可檢查的比較。

若實際瓶頸還在資料準備或人工評估,先改善那一段可能更直接。當完整實驗週期、品質與成本都有紀錄,新硬體的價值才不會只停留在一個脫離使用條件的倍數。

延伸閱讀:輝達 SC26 發表 Nemotron for Science:120 億參數多模態模型與近五萬題化學評測開源登場

延伸閱讀:NVIDIA GTC Taipei 2026:企業級 AI Agent 工具、Nemotron 3 Ultra 與 DGX Station for Windows 全面解析

資料來源

Read more