SambaNova SN50 將進 Supermicro 機櫃：GPU 讀提示、RDU 寫答案，分離式推論改變什麼？

SN50 合作所關注的 AI 代理，每完成一次搜尋或工具操作，往往還要等模型讀回結果，才能決定下一步。因此，回答速度會一路影響整段工作的等待時間。

SambaNova 在 2026 年 11 月 3 日宣布與 Supermicro 策略合作，將把 SN50 推論晶片與 NVIDIA GPU 組成分工運作的系統。

分離式推論的意思，是把讀取輸入與逐步產生答案交給不同硬體。此次安排由 GPU 處理提示，SN50 RDU 接續生成回覆。

Supermicro 初步規劃採用一萬顆 SN50，並負責整合、測試、交付與支援。這是合作的部署規劃，公告沒有把一萬顆列為已交貨數量。

這條路徑值得既有資料中心評估，因為它希望在現有電力與冷卻條件下增加推論容量。不過，效能與成本仍須以實際模型和併發量比較。

要理解合作的用途，先把模型讀輸入、寫答案這兩段工作分清楚，才知道硬體分工可能省下哪一段等待。

SambaNova SN50 合作先改變哪一段推論？

它把硬體分工放進產生答案的流程，讓不同晶片處理較適合自己的工作，因此重點是整套服務如何接力，而非只看單顆晶片的計算峰值。

依 SambaNova 正式公告，Supermicro 將開發能與 NVIDIA GPU 一起工作的 SN50 推論機櫃，納入既有資料中心建置方案。

讀取提示與生成答案為何分開看？

模型先處理使用者輸入，包含問題與必要的背景，再逐步產生輸出。前一段通常稱為 prefill，後一段稱為 decode，兩者對運算與資料移動的需求不同。

可以把它理解成先讀完資料，再開始寫回答。這個比喻用來分清階段，並不表示模型像人一樣先讀懂所有內容，也不代表兩段各自的等待都能完全消失。

在此次合作描述裡，GPU 負責讀提示，SN50 接續生成答案。因此，兩家公司要改善的是整段推論的安排，而不是把原有 GPU 全部移除。

RDU 在這個安排中做什麼？

RDU 是 SambaNova 的可重組資料流晶片，會把一連串計算安排在連續的資料路徑上，減少運算過程反覆搬動資料的負擔。SN50 是這條產品線的第五代。

官方 RDU 產品說明將它的用途放在快速產生文字、持續處理多個請求，以及大型模型推論。這些是設計目標，實際效果仍會隨模型和系統配置改變。

理解兩段分工之後，下一個問題是兩段之間如何交接。若交接耗時抵銷了生成答案的改善，單看其中一顆晶片就容易誤判。

GPU 與 RDU 分開，資料還要如何交接？

分離式系統仍要交換模型運作所需的狀態，因此硬體互連與軟體協調會成為整體效能的一部分。

語言模型產生後續文字時，會重用先前處理過的資訊。若讀提示和生成答案不在同一種硬體上，系統就需要讓接手的部分取得正確狀態，才能繼續回覆。

這也說明為何公告同時談整合與調校。把兩種晶片裝進機房，只完成了實體配置，還沒有證明應用已經能以相同品質和穩定性持續服務。

代理工作為何特別在意等待？

一個程式代理可能先讀取檔案，再呼叫工具，收到結果後又請模型決定下一步。這是理解代理流程的假設情境，並非本次合作公開的效能測試。

若每一步都需要模型推論後的新回應，生成答案的等待便會累積。但工具執行、外部網路和人工核准仍可能占用時間，所以文字輸出加快，不會自動等於整項任務以相同比例完成。

因此，評估分離式推論時，要把交接和應用步驟一起記錄。只有讓完整路徑可比較，才知道新增硬體改善的是哪種工作。

一萬顆晶片規劃如何變成可交付系統？

初始規模呈現的是雙方的合作安排，從採用規劃到可穩定運作的服務，仍須完成產品整合、模型適配與客戶部署。

公告寫的是 Supermicro 初步規劃採用一萬顆 SN50 RDU，而非宣布這些晶片已在客戶機房全部上線。這個區別會影響對產能與服務供應時間的判斷。

Supermicro 和 SambaNova 如何分工？

Supermicro 負責整合、測試、交付及支援系統，包含到場服務。SambaNova 工程師則協助讓模型在 SN50 上運作與調校，並支援部署。

這樣的安排把晶片供應和系統維運接在一起。對客戶而言，硬體故障、模型調校與服務異常分屬不同問題，採購時需要知道每一類問題由誰接手。

雙方表示會先從 AI 雲端服務業者與主權雲開始，再擴至自行營運資料中心的企業。前者提供 AI 運算服務，後者強調特定地區或組織的基礎設施控制，需求不完全相同。

當客戶範圍不同，驗收標準也會不同。雲端供應商可能較在意多租戶容量，企業則可能先確認既有模型能否接上，因此不能只用同一個晶片數量推估所有部署效益。

現有機房能部署，為何仍需要工程驗收？

沿用既有資料中心，是降低擴容阻力的方向，但仍要讓電力、冷卻、機櫃與服務目標在同一套配置下成立。

SambaNova 表示，RDU 不必仰賴極端的機櫃功率密度，希望讓營運商不必等待下一代機房建置，就能增加推論容量，並延長既有 GPU 的使用價值。

這段描述說明的是部署策略，公告未提供每家客戶機房的容量調查。因此，既有機房可用的插槽、線路及冷卻條件，仍要由實際專案確認。

比較時要把哪一些成本放在一起？

除了新硬體價格，還要計入整合、機房改動、維護與軟體適配。若只比較晶片採購金額，可能漏掉把模型服務帶上線所需的工作。

同樣地，沿用舊 GPU 可能減少汰換需求，但不代表所有舊設備都適合新架構。真正有用的問題是既有資源能完成多少服務，以及為此多付出多少額外管理成本。

公告沒有公布此次合作機櫃的通用售價，所以目前無法替所有資料中心算出固定回收期。價格未知的部分，應留待供應商報價與實際容量條件確認。

如何比較回答速度、容量與整體成本？

先把任務與完成標準固定，才有辦法知道不同系統的速度差異是否對應同一種服務。

對互動式代理，可以觀察送出請求後多久開始收到文字、接續輸出的速度，以及同時有多人使用時是否仍維持可接受的回應。這些指標回答的問題不同，不宜只留一個最漂亮的數字。

為何不能只看每秒輸出文字量？

較快輸出可能改善等待感受，但完整任務仍需要正確結果。若模型、輸入長度或答案品質不同，兩套推論服務的輸出速度就不再代表同一種工作。

因此，驗收情境應保留模型版本、提示內容、工具步驟及完成條件，再比較吞吐量與整體費用。吞吐量指同一段時間內能處理多少請求，不等於每個使用者都會等得更少。

假設團隊要服務客服代理，測試就應包含長對話和工具回傳，而不只要求模型接續寫一段短文。這是依工作流程提出的評估方式，並非兩家公司已公布相同測試。

當速度、品質和容量放回同一個任務，才容易判斷分工帶來的改善，是否足以抵銷額外的系統複雜度。

記憶體安排為何也會影響容量？

RDU 產品頁除了談計算，也介紹多層記憶體。它把需要快速取用的內容放在接近運算的位置，較大的模型或較少使用的資料則放到其他層，目的是減少不必要的搬動。

這可以理解成工作桌與後方倉庫的差別：放得近，取用較快，但空間有限。這個比喻說明資料擺放的取捨，不能拿來直接換算特定模型的速度。

對同時服務多個模型的工作，資料是否需要反覆移出、再載入，也會影響回應。因此，只比較每秒能做多少計算，可能看不到模型切換及記憶體使用造成的等待。

為何需要固定服務負載比較？

同一個模型在少量使用者與大量使用者下，可能遇到不同的限制。若一組測試只看單人互動，另一組卻處理很多並行請求，就不能直接判定哪一套系統全面較好。

因此，容量驗收應先說清楚同時有多少請求、輸入與輸出大約多長，以及服務可接受的等待。這些條件會決定團隊應優先改善讀提示、生成答案，還是兩段之間的資源調度。

當測試條件寫清楚，既有 GPU 是否值得保留也更容易判斷。如果原有硬體能有效完成前段工作，新增專用後段才有機會把原本閒置或不適合的資源重新配置。

公告提到在二○二七年增加可取得的推論容量，反映的是雙方對建置路徑的期待。這還不是已公布的全年交付總數，因此後續應追蹤具體機櫃配置、客戶驗收與交貨進展。

模型與軟體適配為何決定實際用途？

晶片能執行推論，只是應用可用的其中一個條件，還要確認目標模型與服務功能能在選定配置下運作。

公告特別安排 SambaNova 工程師參與模型調校，正說明硬體規格不能直接替代軟體驗證。對企業而言，應先從正在使用的模型與應用問題談起，再要求對應的測試結果。

既有服務需要怎樣交接？

若團隊已有監控與服務管理流程，新增硬體後仍要能辨認請求在哪個階段失敗。否則，前段讀取完成但後段回覆異常時，維運人員可能難以判斷應找哪一方處理。

這不表示新架構必然不穩定，而是混合系統多了交接點，需要讓責任和觀測方式跟著增加。能追溯一個請求的完整路徑，才容易評估正式服務是否符合原本承諾。

因此，較適合先驗證的是有明確推論需求、能提供工作負載與完成標準的團隊。如果只是想用一般聊天工具，這項機櫃合作不會直接變成個人帳號的新功能。

SN50 與 Supermicro 合作常見問題

一萬顆 SN50 是否已經交貨？

正式公告使用初步規劃的措辭，沒有把全部晶片列為已交付或已投入客戶服務。後續仍應看實際系統交付與營運證據。

這是否代表 NVIDIA GPU 不再需要？

本次安排將 GPU 和 RDU 放在同一套分離式推論系統裡，分別處理提示讀取和答案生成。因此，公開方向是協作，而不是完全移除既有 GPU。

一般企業何時可以購買，價格多少？

公告說明目標客群與雙方分工，但沒有提供所有地區一致的交貨日或通用價格。企業需要就部署規模、模型與服務條件向供應商確認。

這項合作能保證代理完成工作更快嗎？

它鎖定推論階段的速度與容量，但代理還可能等待工具、資料與人工決策。是否縮短整項工作，需要以相同任務實際比較，不能由硬體宣稱直接換算。

先用自己的工作負載確認分工價值

SambaNova 與 Supermicro 把快速生成答案、既有機房與整合服務放到同一個合作方案裡，讓資料中心多了一條擴容路徑。對有大量互動推論需求的團隊，下一步是拿自己的模型和任務比較完整服務結果。

想持續追蹤 AI 推論硬體如何接進實際工作，歡迎免費訂閱 AI 郵報。

延伸閱讀

延伸閱讀：SageMaker AI 開放 GPU 分割推論：一張顯卡放多個模型，七個分區不等於七倍省錢

延伸閱讀：Cerebras 推論將進 Oracle Cloud：預計 2027 年上線，AI 代理速度與成本怎麼看？

原始資料來源

• SambaNova與Supermicro正式合作公告
• SambaNova RDU產品說明