SageMaker AI 開放 GPU 分割推論：一張顯卡放多個模型，七個分區不等於七倍省錢
SageMaker AI 於 2026 年 10 月 30 日新增 GPU 分割即時推論。解析 NVIDIA MIG 固定份額、最多七分區的機型差異、推論元件與新端點部署、共享主機、監控缺口，以及為何不保證七倍省錢。
SageMaker AI 的 GPU 分割，想處理的是小模型用不滿整張顯卡的浪費。若每個模型各占一張加速器，沒有用到的記憶體和算力，也可能持續出現在帳單裡。
AWS 在 2026 年 10 月 30 日宣布，即時推論端點支援 GPU 分割，讓多個模型可以部署在同一張實體顯卡的不同分區。
底層使用既有的 NVIDIA MIG 技術。本次新增的是接進 SageMaker 推論元件的部署方式，而不是發明一張新的顯卡。
每個分區有固定算力與獨立顯存，但同一台主機的處理器、記憶體、儲存與網路仍共用。分到不同顯卡區域，不代表整條服務路徑都互不影響。
官方所說最多七個分區，也不是每種支援顯卡都能分七份。實際能放幾個模型，還要看可選配置、執行記憶體與服務要求。
這項功能適合先量出模型需求，再安排共用部署的團隊。因此，第一個判斷不是能分幾份，而是哪一些模型根本不需要整張顯卡。
SageMaker AI GPU 分割要解決哪種浪費？
它讓不需要整張加速器的模型，能共用顯卡而各自保留固定資源。推論指模型接收輸入、產生結果的執行階段，和重新訓練模型是不同工作。
依 AWS 發布公告，功能適用於 SageMaker AI 即時端點中的推論元件。端點是應用送出請求的服務入口，元件則承載部署的模型。
小型功能也可能需要加速器
例如把文字轉成可搜尋數值的嵌入模型、替搜尋結果重新排序的模型，或把內容分門別類的分類模型，都可能不需要整張大型顯卡。這些是說明資源安排的工作類型，不表示任意模型都必然放得進最小分區。
如果每項工作獨占一張卡，資源可能長時間空著。分割讓團隊能在同一張硬體上配置不同服務，減少為了彼此分開部署而保留的未使用空間。
但部署在一起，不代表應用只能得到一個混合模型。請求仍可指定推論元件名稱，把工作送到預定的模型，而不是要求使用者直接選一塊硬體分區。
這項功能改變的是配置粒度。原本以整張顯卡為單位的選擇，變成可以考慮更小的固定份額；先確認模型能放進較小配額，才有必要比較分區組合。
最多七個分區，為何不等於七等份效能？
分區規格由顯卡與配置決定，不是把任意顯卡平均切成七個完整服務。MIG 是將一張顯卡分成多個實例的技術，每種配置使用的運算與顯存份額都有規則。
官方文件列出，支援的 A100 與 H100 配置最多可有七個分區，G7 的相關配置最多兩個，G7e 則最多四個。因此，七是部分硬體的上限，不是全部機型的共同規格。
模型檔案大小，和執行時需要的空間不同
部署時需要容納模型權重，也就是模型訓練學到的數值，還要留下執行過程所需的空間。例如較長輸入或較多同時請求，可能改變暫存需求，不能只拿下載檔案大小和顯存容量相比。
以假設情境來說，一個模型的檔案雖然放得進某個分區，卻在實際流量下需要更多工作空間，就不能把「成功載入」視為配置已足夠。這是容量判斷的推導，不是本刊量出的模型需求。
同樣地，參數量較小也不是單獨的部署答案。模型格式、運算方式和服務設定都會影響實際占用，所以先量測目標模型，比直接按名稱選最小分區更可靠。
隔離顯卡，沒有隔離整台主機
MIG 提供固定的運算份額和獨立顯存，但主機的處理器、一般記憶體、磁碟與網路仍共享。這些共用資源可能影響資料準備、載入或輸出等環節。
假設兩個模型都在進行大量輸入處理，瓶頸可能出現在共用主機，而不是各自的顯卡分區。即使顯卡份額沒被其他模型搶走，應用看到的整體等待時間仍可能變化。
因此，硬體隔離保住的是特定資源的份額，服務表現仍要看完整路徑。下一步的部署順序，也必須配合這些事先選定的配置。
新端點與推論元件，部署順序怎麼安排？
先建立固定分區布局，再把模型的推論元件放到相符分區。布局描述一張加速器如何分配，SageMaker 會將它套用到相關配置中的每一張加速器。
設定中的 AcceleratorPartitionLayouts 負責描述布局，元件上的 AcceleratorPartitionType 則選擇它需要哪種分區。兩個名稱分別對應可提供的資源，和模型要使用的資源。
端點就緒，不代表模型已經部署
官方建立範例先啟動端點，再等待狀態成為 InService，也就是進入服務狀態。此時顯卡已完成分割，但分區仍可以是空的，沒有模型元件也合法。
所以「端點建立成功」和「模型能回答」是不同證據。接著還要建立推論元件，確認模型在合適分區啟動，應用才有對應的服務可以呼叫。
這項套用規則也會影響配置規畫：同一部署配置裡，不是逐張顯卡任意安排不同形狀，而是把宣告的布局重複使用。若模型需要的大小不同，應先確認同一張卡的布局能否容納需要的類型，而不是部署後再臨時挪出任意空間。
官方以一台有八張 A100 的 P4d 主機示範，每張卡分成三個不同大小的區域，最後共有二十四個分區。這個例子也說明，最多七份不代表每次部署都必須採七份。
增加副本，仍然需要空閒的相同資源
副本是同一模型的另一份執行實例，目的是接更多工作，而不是讓一份模型自動借用所有空閒分區。這個區別讓擴充能力仍受配置中可用的同類型數量限制。
模型若要服務更多請求，可以增加推論元件的副本數，但新副本仍要放進空閒且類型相同的分區。調大數字並不會憑空產生硬體容量。
若要讓既有模型改用不同的分區類型，官方要求建立新的推論元件，等它就緒後再把客戶端轉過去，最後刪除舊元件。不能直接把原元件在線改成另一種類型。
分區布局本身更不能直接修改。對執行中端點使用不同布局的更新請求會被拒絕，即使只是把相同類型換順序，也需要另建端點安排流量切換。
因此，初次量測不只影響第一次部署，也會影響未來調整要做多少交接。固定布局適合事先理解需求，並不等於任意流量都能即時把分區重新切開。
為何 API 接受設定，仍不代表服務可用？
部署請求被接受，只表示它進入流程，驅動與實際啟動仍可能失敗。API 是程式呼叫雲端服務的介面，服務接受請求後，還需要在實體資源完成設定。
官方文件就列出一項具體限制：P4d 的 1g.10gb 分區需要指定的機器映像版本。映像可以理解成主機啟動所需的系統與軟體組合，預設版本未必包含所需支援。
已保存設定，和實際建立，是兩個階段
文件對這個例子指定的映像為 al2023-ami-sagemaker-inference-gpu-4-1。它是特定配置的要求，不表示每個分區都必須照抄相同設定，因此部署前仍要對照自己選的機型與類型。
這個配置若沒有搭配所需映像，請求仍可能先被接受，之後才在主機建立分區時失敗。因此，只保存建立請求的回覆，不足以證明模型已能提供服務。
相反地，若要求的分區總量根本放不進顯卡，服務會在配置驗證時回傳錯誤。兩種失敗發生的位置不同，處理方向也不同，不能全部歸因模型檔案有問題。
官方建立指南也區分設定查詢與端點查詢。前者能確認提交了什麼布局，後者則要讀實際狀態和失敗原因，兩份結果回答的問題不同。
例如建立中的端點尚未回傳布局，文件說明這可以是預期情況。此時應該確認狀態，而不是看到空值就直接認定沒分割，再重複建立另一個付費端點。
區域、機型可用性與帳號配額同樣會影響部署。設定本身正確，也不能保證每個帳號在每個區域都有相同資源，必須按實際可用條件安排。
確認模型真的能回應之後，團隊還要知道新的端點提供哪些監控資料。否則，原本用來判斷資源是否用滿的圖表，可能不再以預期方式出現。
監控和費用，該看哪一種證據？
較高利用率是目標，能否省下總成本要看模型配置與實際流量。把一張卡分成更多區域，不會自動把整台主機的費用變成某個固定比例。
官方目前說明，分割端點與相關元件可提供呼叫次數、延遲等指標，但不提供顯卡、處理器與記憶體利用率指標。不能因監控圖上缺少這些資料，就當成資源使用為零。
把模型需求和服務結果一起量
導入前量測模型在代表性輸入下的資源需求，部署後再看實際呼叫與延遲，是兩種互補證據。前者協助選配置，後者確認配置有沒有維持服務要求。
假設某個組合省下硬體數量，卻因共用主機的等待增加，需要更多副本才能守住回應時間，最後費用就可能和最初估算不同。這是成本推導，不是官方公布的實際節省比例。
另外，端點只要仍在執行，即使分區是空的、沒有推論元件，也會產生執行個體費用。只刪掉模型元件，不能當成已停止整個端點的持續費用。
管理文件因此把刪除元件、端點與配置分成步驟。這項差別對短期測試也有意義：模型停止回答，不等於承載它的主機已刪除。
台灣團隊要按支援區域規畫
本次公告列出七個支援區域，亞洲包含新加坡與東京，並非所有 AWS 區域。從台灣使用服務，仍要對照目標區域的機型、容量與帳號條件，而不能直接假設本地區域已提供同功能。
適合導入的組合，是固定配額放得下、服務表現守得住，而且共用後總成本確實下降。本文沒有部署這些端點，也沒有獨立驗證官方所稱的效率改善。
SageMaker AI GPU 分割常見問題
所有支援機型都可以分七份嗎？
不可以。七份是部分顯卡配置的上限，其他機型與分區類型有不同限制，實際布局還必須同時符合算力與顯存規則。
可以直接調整既有端點的布局嗎？
不能。不同布局需要建立新端點，部署對應元件並安排流量轉移。增加同類型副本和改變布局，是不同操作。
分到不同區域，就完全不會互相影響嗎？
顯卡資源有隔離，但主機處理器、記憶體、儲存與網路仍共用。完整服務表現要看整條請求路徑，而不只看分區大小。
最多七份，是否代表一定省七倍？
沒有這種保證。還要看模型是否放得下、實際流量與副本需求，以及端點持續執行的費用。先量需求再選布局，比把分區上限直接當預期節省更可靠。
延伸閱讀
延伸閱讀：NVIDIA gds-diag 開源診斷工具：讓 Claude Code、Codex 找出 GPU 儲存傳輸卡在哪裡
延伸閱讀：PyTorch 2.15 更新重點：NCCL 預設改了，AI 團隊升級前要看什麼？
原始資料來源
想持續掌握 AI 基礎設施的新功能與部署限制，歡迎免費訂閱 AI 郵報。
