GitHub 破 9.7 萬星 vLLM 深度解析:PagedAttention 如何把 GPU 記憶體浪費壓低 80%,成為企業高併發 LLM 推論事實標準?

GitHub 突破 9.7 萬星的開源推論引擎 vLLM,憑藉 PagedAttention 與 Continuous Batching 解決 GPU 顯存碎片化與排隊瓶頸。本文拆解技術原理、實測吞吐量對比、部署指令與硬體選型避坑指南。

Share
GitHub 破 9.7 萬星 vLLM 開源專案官方封面
vLLM 開源大語言模型高吞吐推論引擎官方儲存庫封面(來源:GitHub vllm-project/vllm) 圖片來源:GitHub vllm-project/vllm。

很多團隊把開源大語言模型搬進公司內網時,第一個撞上的牆不是模型不夠聰明,而是「只有五個人同時發問,價值十幾萬的 GPU 伺服器就開始卡頓甚至當機」。明明顯示卡記憶體只用了一半,系統卻跳出顯存不足(OOM)的錯誤訊息。

這種窘境背後,往往是因為開發者直接拿研究型的推論腳本或單人工具去硬扛多人併發流量。當請求同時湧入時,傳統架構會預先替每個對話框死一大塊連續記憶體,導致大量空間閒置卻無法挪用。

為了解決這道昂貴的算力瓶頸,源自加州大學柏克萊分校 Sky Computing Lab 的開源專案 vLLM(GitHub Stars 已突破 9.7 萬星,代表全球幾乎所有需要自建 AI API 的團隊都在關注或直接使用它),提出了一套借鏡電腦作業系統的解決方案。

它最核心的兩張王牌是 PagedAttention(分頁注意力) 與 Continuous Batching(連續批次處理),直接把多使用者同時請求時的 GPU 吞吐量拉高數倍甚至一個數量級,並完整相容 OpenAI API 格式。

不管你正準備為公司搭建內部知識庫助手、評估本地算力採購,還是想搞懂為什麼業界把 vLLM 視為高併發 LLM 推論的事實標準,這篇文章都會從底層記憶體機制、工具對比、部署參數到常見踩雷點,一次講清楚。

GitHub 破 9.7 萬星 vLLM 開源專案官方封面
vLLM 開源大語言模型高吞吐推論引擎官方儲存庫封面(來源:GitHub vllm-project/vllm) 圖片來源:GitHub vllm-project/vllm。
官方發表與操作展示影片。

為什麼傳統推論這麼吃顯存?先搞懂 KV Cache 的空間浪費

要理解 vLLM 厲害在哪,得先看懂大語言模型吐字的過程。LLM 生成回答時是一個字(Token)接一個字往外蹦的,每產生下一個字,模型都必須回頭參考前面所有字詞之間的關聯性。

如果每次吐一個新字都要把前面幾千個字重新算一遍,GPU 早就燒起來了。因此工程師發明了 KV Cache(鍵值快取)——白話說,就是把算過的歷史對話「重點筆記」暫存在顯示卡記憶體(VRAM)裡,下一次只需要計算最新那個字就好,用空間換取極大的時間節省。

問題就出在這份筆記的「收納方式」。在傳統的推論框架(例如早期直接用 Hugging Face Transformers 硬跑)中,系統不知道這個使用者等一下會問 50 個字還是 2,000 個字,只好按照模型支援的最大長度(例如 8,192 或 32,768 Tokens)預先在顯示卡裡劃出一塊連續不中斷的記憶體區塊。

這就像一間餐廳規定每位客人進門,不管是一個人吃一碗麵還是一桌十個人辦桌,都強制先佔用一整張二十人座的長桌,而且桌子不能拆開拚桌。結果就是:

  1. 內部碎片(Internal Fragmentation):使用者只問了 200 個字就結束對話,但系統預留的 8,192 個位置裡,剩下將近 97% 的空間在對話結束前全都空著不能給別人用。
  2. 外部碎片(External Fragmentation):不同請求結束的時間不一樣,記憶體裡東空一塊、西空一塊,總剩餘空間雖然還有 10GB,但因為找不到「連續」的 4GB 空間,新進來的請求依然會報錯失敗。
  3. 預留浪費(Reservation Waste):就算還在生成過程中,還沒寫到的格子也已經被鎖死。根據 Berkeley 團隊的論文實測,傳統架構在實際服務時,有多達 60% 到 80% 的 KV Cache 記憶體處於「被佔用卻沒裝資料」的無效浪費狀態——這代表你花錢買的四張高階顯示卡,可能有兩張半的記憶體都在發呆。

延伸閱讀:Mac mini M4 16GB / 24GB / 48GB 本地跑 AI 實測:Ollama 與 MLX 速度差多少、能順跑幾 B 模型?

PagedAttention 與 Continuous Batching:vLLM 的雙引擎原理

vLLM 之所以能突破 9.7 萬星並被各大雲端服務與企業採用,靠的不是魔法,而是把 1970 年代作業系統管理電腦主記憶體(RAM)的「虛擬記憶體分頁(Paging)」概念,精準移植到了 GPU 顯示卡上。

1. PagedAttention:把長筆記切成固定大小的便利貼

在 PagedAttention 機制下,vLLM 不再要求 KV Cache 必須存在一塊連續的大空間裡。它把顯示卡記憶體切成無數個固定大小的「物理區塊(KV Blocks)」,每個區塊只存固定數量的 Token(例如 16 個 Tokens)。

當一個請求進來時,vLLM 會為它建立一張「頁表(Page Table)」,把邏輯上連續的對話內容,對應到顯示卡記憶體裡分散在不同角落的實體區塊:

  • 需要多少才拿多少:剛開始對話只佔用 1 個區塊,寫滿了再動態配發第 2 個區塊,徹底消滅「先佔二十人大桌」的預留浪費。
  • 零外部碎片:因為每個區塊大小完全一致,任何一個釋放出來的空位都能立刻給下一位使用者的請求接手,記憶體利用率幾乎逼近 96% 以上(相比傳統架構的 20%–40%,這代表同一張顯卡能同時服務的併發使用者數量直接翻了好幾倍)。
  • 寫時複製(Copy-on-Write):當多個請求共用同一段超長的系統提示詞(System Prompt),或者在平行取樣(Beam Search / Parallel Sampling)時,它們可以直接共用同一份實體記憶體區塊,連重複抄筆記的空間都省下來。

2. Continuous Batching:隨到隨上車的動態併發調度

光省下記憶體還不夠,傳統推論還有一個致命傷叫「靜態批次處理(Static Batching)」。

假設系統一次打包 4 個使用者的請求一起送進 GPU 運算。A 只需要模型回答「是或否」(10 個字就結束),B 卻要求模型「寫一篇 1,500 字的產業分析」。在靜態批次下,A 算完之後不能下車,必須乾等 B 把 1,500 個字全部吐完,GPU 才會騰出位置接下一批新客人——這段期間 A 的算力通道完全空轉。

vLLM 引入了 Continuous Batching(連續批次處理,又稱 Iteration-level Scheduling)。調度器不再以「整份回答結束」為單位,而是以「每生成一個 Token 的迭代週期」為單位:

  • 只要 A 在這一個週期吐出了結束符號(EOS),A 立刻完成並釋放區塊。
  • 下一個微秒,排隊中的 C 就會立刻補進 A 剛空出來的座位,跟還在寫長文的 B 一起進行下一次矩陣運算。
  • 搭配 Chunked Prefill(分塊預填) 技術,當有人突然丟入一篇 3 萬字的 PDF 要摘要時,系統不會因為要一口氣讀完這份長文而卡住其他正在聊天的短請求,而是把長文切塊穿插計算,確保全站延遲穩定。

開源推論引擎怎麼選?vLLM、Ollama、llama.cpp 與 TGI 實戰對比

很多台灣工程師與技術主管常問:「我本機已經裝了 Ollama 跑得好好的,為什麼上線還需要學 vLLM?」這四套工具其實各擅勝場,在決定技術架構前,先看清楚它們在定位與併發能力上的核心差異。

比較項目 vLLM Ollama llama.cpp Hugging Face TGI
核心定位 企業級高併發 API 推論伺服器 個人本機一鍵開箱即用工具 跨平台輕量 C/C++ 底層引擎 企業級推論伺服器(早期主流)
核心技術 PagedAttention + Continuous Batching 底層封裝 llama.cpp(主打易用) GGUF 量化 + CPU/GPU 混合卸載 FlashAttention + Continuous Batching
單人本機體感 啟動較慢,需設定參數,殺雞用牛刀 極佳,一條指令拉模型開跑 極佳,支援純 CPU 與蘋果 M 系列 部署較重,偏向 Linux 伺服器環境
多人高併發吞吐 極高(多用戶下吞吐可達數倍至十倍優勢) 中低(高併發排隊延遲明顯上升) 中低(偏重單流或少量並發優化) 高(但生態更新與社群活躍度漸被 vLLM 超越)
主流量化支援 FP8、AWQ、GPTQ、BitsAndBytes、GGUF GGUF(Q4_K_M 等為主) GGUF(最完整) FP8、AWQ、GPTQ、EETQ
多卡並聯(TP) 原生強大支援 Tensor / Pipeline Parallel 支援多卡自動切分,但擴展效率較弱 支援多卡切分,無企業級高頻調度 支援 Tensor Parallelism
適用場景 團隊內部系統、SaaS 產品、大量批次處理 個人筆電離線寫程式、快速概念驗證 邊緣裝置、記憶體受限的消費級電腦 已深度綁定 Hugging Face 生態的服務

從表格可以得出一個非常明確的選型結論:如果是自己一個人在 MacBook 或桌機上測試模型,Ollama 絕對是最省心的選擇;但只要你的服務要接給團隊、前端網頁或自動化腳本同時發送 5 個以上的請求,請直接切換到 vLLM,否則你買來的高階顯卡算力會大量消耗在排隊與記憶體碎片上。

快速上手與關鍵參數避坑:從單卡部署到多卡並聯

vLLM 對外完全相容 OpenAI 的 API 規範(/v1/chat/completions),這意味著你原本寫好串接 GPT-4o 的 Python 程式碼、LangChain、Dify 或 Cursor,幾乎只要把 base_url 改成本地伺服器的位址就能無縫接軌。

安裝與啟動一台支援 OpenAI 相容介面的 vLLM 伺服器非常直覺,通常只需要安裝套件並執行 vllm serve:

pip install -U vllm
vllm serve Qwen/Qwen2.5-14B-Instruct-AWQ \
  --quantization awq \
  --gpu-memory-utilization 0.90 \
  --max-model-len 16384 \
  --port 8000

不過在實際部署時,新手最容易在以下三個參數上踩雷,導致還沒服務客人就先崩潰:

1. --gpu-memory-utilization(預設 0.90)的雙面刃

vLLM 預設會直接吃掉顯示卡 90% 的可用 VRAM,先把空間預先劃好給模型權重與 PagedAttention 的區塊池。如果你的這張顯卡同時還接了螢幕輸出,或是同一台機器上還跑了 Embedding 向量模型、Whisper 語音辨識,設成 0.90 往往會當場報錯。遇到顯卡共用的情況,請務必調降為 0.75 或 0.80。

2. --max-model-len(最大上下文長度)別盲目開滿

許多現代開源模型宣稱支援 128K(131,072 Tokens)超長上下文,但如果你沒設定 --max-model-len,vLLM 在啟動檢查時會試圖確保顯存至少能容納一條 128K 的請求,結果在 24GB 或 48GB 顯卡上直接啟動失敗。實務上建議先依業務需求限制在 8192 或 16384(約等於 1.2 萬至 2.4 萬個中文字),把寶貴的顯存留給更多併發使用者。

3. 多卡並聯 --tensor-parallel-size 與量化選型

當單張顯示卡塞不下 70B 級別的大模型時,可以在多張相同顯卡上加上 --tensor-parallel-size 2(雙卡)或 4(四卡),把模型每一層的矩陣運算平均切分到不同顯卡平行處理。

量化格式選擇上,若你的顯卡是 NVIDIA Ada Lovelace(RTX 40 系列 / L40S)或 Hopper(H100)以上架構,強烈建議優先選用 FP8 量化,幾乎沒有精度損失卻能省下一半顯存並大幅加速;若是 Ampere 架構(RTX 3090 / A100)或消費級顯卡,則優先選擇 AWQ 或 GPTQ 4-bit 量化版本。

延伸閱讀:8GB 顯卡筆電還能跑本地 AI 嗎?RTX 4060 實測 7B/8B/14B 模型 Q4_K_M 量化速度與記憶體懸崖

官方影音與實測導讀

如果你想透過視覺化圖解,進一步看懂記憶體頁表(Page Table)是怎麼在 GPU 裡動態跳轉,推薦觀看技術頻道解說 vLLM 底層架構的精華影片:

  • 推薦影片:《vLLM Fully explained page attention & continuous batching in simple way》
  • 導讀重點: 1. 影片前段用具體的記憶體格子圖示,示範傳統 KV Cache 在自回歸生成(Autoregressive Decoding)過程中,如何因為預留最大長度而造成高達六成以上的空間浪費。 2. 中段拆解 PagedAttention 的 Logical Blocks(邏輯區塊)與 Physical Blocks(物理區塊)對映關係,能幫你一次看懂為什麼不連續的顯存空間不會影響注意力矩陣運算。 3. 後段則對比 Static Batching 與 Continuous Batching 在處理長短不一的提示詞時,如何讓 GPU 計算單元(CUDA Cores / Tensor Cores)維持滿載而不空轉。

常見問題(FAQ)

Q1:我的 Windows 電腦可以安裝並直接跑 vLLM 嗎?

vLLM 的底層高度依賴 Linux 環境下的 PyTorch 分散式通訊、Triton 編譯器與客製化 CUDA 核心,因此官方主力支援 Linux 作業系統。如果你是 Windows 使用者,建議透過 WSL2(Windows Subsystem for Linux) 安裝 Ubuntu 後再啟用 vLLM,或是直接使用官方提供的 Docker 映像檔(vllm/vllm-openai),不建議在原生 Windows 環境硬裝,容易遇到編譯相依性錯誤。

Q2:Mac(Apple Silicon M3 / M4)能跑 vLLM 嗎?

雖然 vLLM 社群有實驗性的 CPU 與部分 macOS 支援,但它的殺手鐧 PagedAttention CUDA 核心是針對 NVIDIA GPU(以及 AMD ROCm、TPU 等資料中心加速器)深度打造的。如果你是用 Mac mini 或 MacBook Pro 跑本地模型,使用 Apple 官方開源的 MLX(mlx-lm) 或 Ollama 才會得到最佳效能與統一記憶體頻寬利用率。

Q3:什麼是 Prefix Caching(前綴快取)?開起來有什麼好處?

在 vLLM 啟動參數加上 --enable-prefix-caching 後,如果不同使用者的請求都帶著一模一樣的長篇系統指令(System Prompt)、少樣本範例(Few-shot)或同一份公司規章文件,vLLM 會直接把這段開頭算過的 KV Cache 區塊保留在記憶體裡重複利用。這能讓第二位以後的使用者省下大量的「首字延遲(TTFT, Time To First Token)」,不用每次都重讀整份背景資料。

Q4:已經用 Ollama 寫好應用程式,轉移到 vLLM 需要重寫程式碼嗎?

幾乎不用。vLLM 內建的 API 伺服器完全遵循 OpenAI Chat Completions 規格。如果你的程式原本是呼叫 OpenAI Python SDK 或透過標準 HTTP POST 請求 /v1/chat/completions,只需要把端點網址(Base URL)指向 vLLM 的 http://localhost:8000/v1,並把 model 名稱改成啟動時指定的模型名稱即可無痛切換。

Q5:高併發時還是出現 OOM(顯存不足)怎麼辦?

先檢查三個地方:第一,確認是否已經使用 AWQ、GPTQ 或 FP8 等量化模型,避免用 FP16 原版權重硬撐;第二,將 --max-model-len 調小(例如從預設上限降至 8192),大幅減少單一長對話可能吃掉的區塊上限;第三,若同時有多個超長請求湧入,可適度調降 --max-num-seqs(預設 256,可先降為 64 或 128),限制同時在 GPU 內排隊處理的最大序列數,換取系統穩定不崩潰。

資料來源

Read more