NVIDIA 公開 AI 記憶體協同設計，HBM 容量相同，推理吞吐量為何不同？

長對話與代理工作增加後，GPU 除了放模型，還要保存先前內容的運算結果。每次工具呼叫結束，代理重新接著思考，這些資料都可能再次派上用場。

NVIDIA 在二○二六年十一月五日公開記憶體協同設計解析，說明容量相同的 GPU 為何仍可能交出不同吞吐量。這次是完整系統的技術說明，整理既有元件如何一起運作。

文章把數值格式、專家分配、快取路由、CPU 與共享儲存串成一條資料路徑。各層處理不同問題，但都會影響高速記憶體能留給多少工作。

官方用特定代理工作負載展示每兆瓦吞吐量改善。要判斷這些數字與自己的服務有多接近，必須連同模型、使用者速度要求與硬體設定一起看。

對規劃長上下文服務的團隊，我會先找出容量用在哪裡、哪些資料正在重算，再挑值得測試的改善方式。只比較每張卡的記憶體容量，會漏掉整段資料搬移與等待。

先理解模型與上下文各占什麼空間，後面的系統設計才有共同起點。

AI 記憶體為何不只看 HBM 容量？

推理需要同時容納模型數值與先前內容的運算結果，兩者會競爭有限空間。HBM 是靠近 GPU 的高頻寬記憶體，容量與速度都會影響模型能接多少請求。

模型權重是訓練後留下的數值，推理時用來計算輸出。KV 快取則保存先前文字在注意力運算中形成的中間結果，讓後續生成不必反覆重算全部內容。

對話越長、同時服務的人越多，快取需求就可能增加。若權重已經占去大部分容量，系統能留給長對話與並行請求的空間就會變少。

把快取刪除可以騰出容量，但下一次請求需要相同內容時，系統可能又得重新處理。省下的記憶體因此可能轉成額外運算與等待。

NVIDIA 的說明把這個問題放到完整服務來看。容量如何分配、資料留在哪裡，以及請求被送到哪一台機器，會共同影響每一個位元組的使用價值。

官方比較的 Vera Rubin NVL72 與 GB300 NVL72，單張 GPU 都使用二百八十八 GB HBM。相同容量提供了觀察起點，但兩套系統的其他設計仍有差別。

因此，容量相同不能直接推導成吞吐量相同。先分清模型與快取各自占多少，再看它們是否能更小、分得更開，或在需要時有效搬回。

NVFP4 與專家分配如何減少權重負擔？

較小的數值格式與較廣的專家分配，分別減少每個值及每張 GPU 的權重占用。兩項方法作用的位置不同，可以放在同一個容量問題中理解。

NVFP4 是 NVIDIA 的四位元浮點數格式。用較少位元保存數值，可以讓同一模型占用較少空間，但數值精度改變後，仍要核對模型輸出品質。

依官方比較，NVFP4 權重占用約為 FP16 的三點五分之一、FP8 的一點八分之一。這些比例描述指定格式與儲存方式，不能直接當成所有模型的速度倍數。

官方也說明，將 KV 快取從 FP8 改為適用的較低精度格式，容量最多可減少一半。節省空間可以用於較長上下文或更多並行請求，前提是準確度仍達需求。

混合專家模型則讓不同專家處理不同輸入，每次只啟用部分專家。即使單次運算使用的專家較少，整個模型的權重仍需要安排存放位置。

WideEP 將專家分散到八張以上 GPU，減少每張卡必須保存的專家權重。騰出的空間能承接快取，但輸入也需要依照選中的專家在 GPU 間移動。

這讓高速互連成為重要條件。若資料交換拖慢工作，單看權重分散後的容量改善，就無法看出完整效能。

這種分配也不代表機架內全部記憶體變成一個可以任意使用的共同位址。程式仍要安排專家、交換輸入與平衡負載，才能把分散容量用起來。

權重留下更多空間後，系統還需要讓已有的上下文在正確位置再次使用。

Dynamo 如何讓快取少算一次？

Dynamo 同時考慮快取所在位置與工作負載，減少請求送到別處後重新處理的機會。快取若已經存在，路由就有可能把下一次請求送到能沿用它的地方。

例如多個工作共用一段長系統指示，輸入前段可能重疊。若請求送到已保存相同前段快取的模型實例，就能減少重複處理的工作。

但路由也要顧及機器是否繁忙。若只追求快取命中，把大量請求塞到同一處，等待時間也可能增加，因此快取位置與負載要共同判斷。

Dynamo 也能將預填與解碼拆開安排。預填先處理輸入內容，解碼再逐步產生輸出，兩段工作對硬體資源的需求不同，拆開後可分別配置。

既有快取若能跨階段搬移，就不必因為工作換了位置而全部重算。NIXL 負責支援相關資料傳輸，讓資料路徑與執行安排互相配合。

官方的快取資源管理設計，也讓資料能放在 GPU、固定的 CPU 記憶體與儲存層。較慢但較大的空間，可以暫存一時用不到的內容。

這種分層是否划算，取決於搬回資料能否比重新預填更快。上下文很短、資料回載很慢時，保留快取就不一定是較省時間的選擇。

快取沿用也需要相容的模型實例與內容條件。兩個請求的文字看起來相似，不足以保證內部快取可以直接共用。

KVCR Guard 則嘗試讓已提交到主機的快取，在部分服務重啟時仍可保留。這仍依賴 Guard 與主機可用，不能當成所有故障下都能恢復的永久備份。

快取能跨層移動後，代理等待工具的時間也會影響它適合留在哪一層。

Vera 與 CMX 如何接住暫停中的上下文？

較快的 CPU 與更大的外部容量，讓等待中的上下文有機會暫時離開 HBM。代理呼叫工具時，GPU 可能先去處理其他工作，原有快取就需要安排暫存。

如果工具執行很久，快取可能被移走或淘汰。等結果回來，服務就得在搬回快取與重新處理輸入之間做選擇，影響使用者感受到的恢復速度。

NVIDIA 將 Vera CPU 的工具執行能力放進同一段流程。CPU 若能更快完成代理的外部工作，就有機會縮短上下文閒置的時間。

官方列出的單一 Vera 主機記憶體容量為一點五 TB，並透過每秒一點八 TB 的一致性連線與 GPU 配合。它提供的空間，可以承接暫時離開 HBM 的內容。

機架與節點以外，CMX 使用乙太網路與快閃儲存支援更大的快取層。多個工作節點因此能利用外部容量，保存長上下文或等待中的工作狀態。

這裡保存的是可重建的推理快取，其用途與需要長期可靠保存的正式資料不同。選擇儲存方式時，要看回載延遲與重算成本，而非只比總容量。

官方宣稱，CMX 在指定長上下文比較中，對傳統儲存方案的每秒詞元數與能源效率最多可改善五倍。這個結果有自己的比較條件，不能再乘上其他元件的倍率。

當外部容量增加，服務還是得決定哪些內容值得留下。沒有再利用機會的快取，占住更大儲存空間，也不會自動增加有用工作量。

三十倍吞吐量數字應如何放回條件？

官方最高三十倍的比較，衡量特定互動速度要求下的每兆瓦吞吐量。它使用 SemiAnalysis AgentX 代理工作負載，比較 Vera Rubin NVL72 與 GB300 NVL72。

比較要求每位使用者每秒一百六十個詞元。詞元是模型處理與生成文字的單位，不能直接換成固定中文字數，因為切分方式會隨文字內容而變。

每兆瓦吞吐量同時看工作量與用電。這和單張 GPU 峰值運算、單一請求最快速度，回答的是不同問題，因此不能互相替代。

數字由 NVIDIA 公布，本文沒有獨立重跑其測試。對採購者而言，較有用的做法是保留相同品質與回應速度要求，再拿自己的工作負載比較整套系統。

測量時可以分開記錄權重占用、快取命中、回載時間與工具等待。若主要瓶頸是工具很慢，單純壓低模型數值格式未必能改善整段任務。

依NVIDIA 技術全文，若主要問題是同一段長內容一直重算，則可先觀察快取路由與保存方式。把瓶頸定位後，才知道新增容量、互連或儲存是否值得投入。

實際記錄可以沿著一次任務展開。先看輸入進來時要處理多少內容，再看輸出期間快取增加多少，最後記下工具執行前後資料有沒有被移走。

若工具回覆後延遲突然變長，就可以追查快取是否被淘汰。這讓等待時間對應到具體系統行為，而不只是看到平均速度下降。

若多位使用者共用很長的固定提示，則可檢查請求是否被分散到沒有相應快取的機器。此時路由策略與負載分配，可能比單純增加容量更值得先測。

另一方面，當不同使用者內容幾乎不重疊，前段快取的共用機會也可能較少。相同硬體對兩種服務交出不同結果，原因可能就在請求內容。

測試還應保留輸出品質。降低精度若使模型答錯，雖然生成更快，也無法視為完成同一份工作，因此比較時需要固定可接受的結果標準。

能源測量則要對齊同一段服務時間與系統範圍。若一組只算 GPU，另一組包含主機和儲存，分母不同就無法直接判斷哪個配置較有效率。

當測試能同時列出工作內容、品質、互動速度與能源範圍，官方數字才有共同的比較起點。這些資料也能協助團隊說明下一筆硬體投資要解決什麼問題。

同一套比較還應保留並行使用者數，因為單人回應很快，和大量使用者都能維持目標速度，會對系統提出不同容量需求。

常見問題

NVIDIA 這次宣布了新的記憶體產品嗎？

十一月五日文章的重點是協同設計解析，將 NVFP4、WideEP、Dynamo、Vera 與 CMX 放在同一條推理路徑說明。各項產品與技術的先前發布時間應分開看待。

快取放得越久，服務就越快嗎？

效果取決於是否再次使用，以及取回成本。若從外部儲存取回資料比重新處理還慢，保留快取可能無法縮短等待，因此需要實際工作負載測量。

五種方法的倍率可以相乘嗎？

不適合。權重容量、特定儲存比較與整機能源吞吐量，使用不同分母和條件。把它們相乘，會把互相重疊的改善與不同測試混成一個沒有實測依據的數字。

先找出上下文在哪裡浪費時間

這份技術解析的價值，是讓記憶體評估回到完整資料路徑。模型、快取、CPU 工具與儲存共同決定服務能承接多少工作，容量只是其中一個條件。

先選一段真實代理任務，量出重算與等待發生的位置，再比較同品質、同速度要求下的工作量與用電。找到限制之後，才容易選對要改善的那一層。

延伸閱讀可參考Together Compiler 推出持續推理最佳化，AI 代理如何依流量改寫執行方式？與Joules-to-GDP 用電力衡量 AI 工作價值，模型、任務與 GPU 數量如何取捨？。

原始資料來源

• NVIDIA 記憶體協同設計技術解析
• NVIDIA AI 官方 X 技術影片