單張 24GB 顯卡怎麼撐起多人同時問?vLLM PagedAttention 與 FP8 量化本地部署實戰
單張 24GB 顯卡跑本地大模型一人問很快、三人同時問就 OOM?本文解析 vLLM PagedAttention 與 FP8/AWQ 量化原理、顯存數學試算與並發部署取捨,幫開發團隊用一張 RTX 4090 或 5090 撐起內部 OpenAI 相容 API 服務。
買了一張 24GB VRAM 的 RTX 4090 或高階工作站顯卡,單機測試 14B 模型每秒順跑五、六十個字,但只要接進團隊內部系統讓四、五位同事同時發問,顯存立刻爆掉跳出 CUDA OOM 錯誤。
多數開發者卡關的不是算力不夠,而是傳統推論引擎預先劃分連續記憶體給 KV Cache,導致大量顯存被閒置浪費。在只有 24GB 的天花板下,能不能把有限顯存榨出多人並發吞吐量,關鍵在於推論引擎與量化格式的搭配。
vLLM 結合 PagedAttention 記憶體分頁與 Continuous Batching 連續批次處理,再搭配 FP8 或 AWQ 壓縮權重,能讓單張 24GB 顯卡從「個人玩具」升級為「團隊共用 OpenAI 相容 API 伺服器」。
延伸閱讀:Ollama、llama.cpp、vLLM 與 MLX 怎麼選?本地大模型推論框架完整比較
延伸閱讀:RTX 5090 與 24GB 顯卡本地跑大模型指南:VRAM 門檻與實務部署建議

為什麼 24GB 顯卡多人同時問就爆掉?KV Cache 碎片化解析
跑本地大模型時,顯存主要被三大塊吃掉:模型權重(Weights)、推論過程的 KV Cache(鍵值快取),以及框架與 CUDA Context 保留區(約 1GB 至 1.5GB)。
在傳統實作中,系統為了處理可能達 8K 或 32K 的長上下文,會預先為每個請求保留最大長度的連續顯存空間。即便使用者只輸入一句「幫我翻譯這段話」,剩下 90% 沒用到的預留空間也無法給其他請求使用,造成嚴重的內部碎片化。
vLLM 引入作業系統虛擬記憶體的分頁概念,也就是 PagedAttention。它將每個請求的 KV Cache 拆成固定大小的 Block(區塊),不需要在實體顯存中連續存放,只要透過頁表映射即可動態分配。
實務上這能將 KV Cache 的顯存浪費壓低到 4% 以內。省下來的空間能直接用來容納更多並發請求(Batch Size),再配合 Continuous Batching 讓先算完的請求立刻釋放區塊、新請求隨時插隊進來運算,大幅拉高 GPU 利用率。
24GB VRAM 算給你看:FP16、FP8 與 AWQ 顯存帳本
想在 24GB 顯卡上撐起並發,光靠 PagedAttention 還不夠,權重本身必須瘦身。以熱門的 14B 與 32B 模型為例,不同精度的權重佔用與剩餘給 KV Cache 的空間差異極大。
| 模型規模與精度格式 | 模型權重佔用 | 系統與 CUDA 保留 | 24GB 卡剩餘可用於 KV Cache | 實務並發定位與建議 |
|---|---|---|---|---|
| 14B FP16(未量化) | 約 28.0 GB | 約 1.2 GB | 無法完整載入(爆顯存) | 需雙卡或降為 8-bit / 4-bit |
| 14B FP8(8-bit 浮點) | 約 14.5 GB | 約 1.2 GB | 約 8.3 GB | 兼顧精度與多路並發,主力首選 |
| 14B AWQ(4-bit) | 約 8.0 GB | 約 1.2 GB | 約 14.8 GB | 超大並發與長上下文(32K+)專用 |
| 32B AWQ(4-bit) | 約 18.5 GB | 約 1.2 GB | 約 4.3 GB | 可單卡跑起,但並發與長度受限 |
從試算表可以看出,14B 模型若用原始 FP16 連單張 24GB 顯卡都塞不下;轉為 FP8 後權重降到約 14.5GB,留下超過 8GB 給 PagedAttention 調度,足以同時支撐 8 到 15 位團隊成員進行一般長度的程式碼補全或文件摘要。
如果團隊需要同時處理大量長文本(例如 RAG 檢索後塞入 16K 上下文),改用 AWQ 4-bit 能把權重壓到約 8GB,釋出將近 15GB 給 KV Cache。至於 32B AWQ 雖然塞得進 24GB,但剩餘 KV Cache 僅約 4GB,較適合 1 到 3 人低並發使用。
實戰部署與取捨:vLLM 對比單人取向 Ollama 的關鍵差異
許多團隊初期會用 Ollama 起一個背景服務讓大家連,但當多人同時呼叫 API 時常覺得越跑越卡。這不是模型變笨,而是預設單機取向的排程策略與 vLLM 的高吞吐設計目標不同。
- 硬體架構限制(FP8 支援度):原生硬體 FP8 加速需要 Ada Lovelace(如 RTX 4090 / L4)或 Blackwell(RTX 50 系列)架構才具備最佳吞吐效益;若使用的是較舊的 RTX 3090(Ampere 架構),建議改用 AWQ 或 GPTQ 4-bit 模型,避免軟體模擬 FP8 反而拖慢速度。
- 單人極速 vs. 團隊總吞吐量:單人獨享時,Ollama 呼叫 llama.cpp 在極低延遲下體感非常快;但一旦並發數拉高到 4 人以上,vLLM 靠著 Continuous Batching 把平行矩陣運算塞滿,總輸出 Tokens/s 往往能達到傳統序列排程的數倍。
- 作業系統與容器環境:vLLM 主要針對 Linux 環境最佳化,官方提供完整的 Docker 映像檔並內建 OpenAI 相容端點(
/v1/chat/completions)。Windows 使用者需透過 WSL2 搭配 Docker Desktop 才能穩定運行。 - 善用關鍵啟動參數:在 24GB 顯卡上啟動時,建議設定
--gpu-memory-utilization 0.90預留 10% 緩衝給桌面或系統,並依需求加上--max-model-len 8192或16384限制單一請求上限,防止單一超長提示詞吃光所有人的 KV Cache。
常見問題(FAQ)
Q1:RTX 3090 同樣有 24GB 顯存,也能用 vLLM 跑 FP8 嗎?
RTX 3090 屬於 Ampere 架構,硬體上不支援原生 FP8 Tensor Core 運算。雖然部分框架可透過軟體轉譯執行,但無法發揮效能優勢甚至可能報錯。RTX 3090 建議優先選用 AWQ 或 GPTQ 格式的 4-bit 量化模型,一樣能享受 PagedAttention 帶來的多並發紅利。
Q2:FP8 跟 AWQ 4-bit 哪一種回答品質比較好?
FP8 保留了 8 位元動態範圍,在邏輯推理、程式碼生成與複雜指令遵循上的精準度幾乎與原始 FP16 持平;AWQ 4-bit 則是在極限壓縮下表現相對穩健的量化法,但面對高難度數學或嚴格 JSON 格式輸出時,偶爾仍會出現細微衰退。24GB 顯卡跑 14B 以下模型首推 FP8,需要更大並發或跑 32B 時再選 AWQ。
Q3:如果團隊只有 2 到 3 人偶爾發問,還需要折騰 vLLM 嗎?
如果使用頻率低且不常發生請求重疊,直接部署 Ollama 搭配 GGUF Q4_K_M 維護成本最低、換模型也最直覺。只有當系統需要串接自動化腳本、批次跑資料標註,或 5 人以上同時使用聊天介面出現明顯排隊卡頓時,才值得切換到 vLLM。
Q4:vLLM 的 OpenAI 相容 API 可以直接接現有工具嗎?
可以。vLLM 啟動後會暴露標準的 OpenAI API 介面,只要將 Dify、Open WebUI、Continue 或自研程式中的 base_url 指向本地主機位址,並填入對應的模型名稱,就能無痛替換雲端 API。
結語:24GB 顯卡給開發團隊的務實配置建議
單張 24GB 顯卡不是不能做團隊級推論服務,關鍵在於不要硬塞未量化的模型權重,而是把寶貴的顯存空間留給 PagedAttention 動態調度 KV Cache。
如果你的主機配備 RTX 4090 或 RTX 50 系列 24GB 顯卡,建議以 vLLM + 14B FP8 作為日常主力,設定 --max-model-len 16384 與 90% 顯存上限,就能在穩定不 OOM 的前提下支撐十人內小型團隊順暢協作;若追求更長上下文或想嘗試 32B 模型,再改用 AWQ 4-bit 換取空間。
歡迎免費訂閱 AI 郵報,每週追蹤更多本地大模型硬體門檻與實測部署指南。