llama.cpp v1.0.0 正式版來了!FP8 KV 快取、MoE 專家快取與伺服器安全加固一次看

ggml-org 正式發布 llama.cpp v1.0.0 與 ggml v1.0.0,結束三年半滾動版本號時代,帶來語意化版本保證、OCP FP8 KV 快取、主機記憶體 MoE 專家快取,以及 llama-server 多項安全加固與語音合成端點,讓本地 AI 推論更穩定可靠。

Share
llama.cpp v1.0.0 正式版官方封面圖
ggml-org 官方發布的 llama.cpp v1.0.0 正式版視覺主圖。 圖片來源:官方原文。

在地端執行大型語言模型(LLM)時,許多開發者與工具都會依賴開源推論引擎 llama.cpp。過去三年半以來,llama.cpp 一直採用類似 b12359 的提交次數滾動標籤來發布版本,雖然更新極快,卻也讓下游整合軟體難以判斷何時會遇到介面不相容的變動。

為了回應越來越龐大的開源生態系需求,ggml-org 團隊於 2026 年 11 月 13 日正式推出 llama.cpp v1.0.0 與底層張量運算庫 ggml v1.0.0。這不只是一個數字上的里程碑,更代表專案正式導入嚴格的「語意化版本控制」(Semantic Versioning),為商業產品與開源應用提供可預期的相容性承諾。

除了版本制度的成熟,v1.0.0 也帶來三項針對記憶體效率與伺服器部署的關鍵升級。第一項是原生的 OCP FP8(8 位元浮點數)KV 快取支援,能直接將長文本推論時的注意力快取記憶體佔用減半。

第二項則是針對超大型混合專家(MoE)模型設計的「主機記憶體 MoE 專家快取」。即使顯示卡記憶體(VRAM)有限,系統也能將完整專家權重留在主機 RAM,只在 GPU 中保留最常被呼叫的專家快取,大幅降低硬體門檻。

第三項則是內建 HTTP 伺服器 llama-server 的全方位強化。官方修補了伺服器端請求偽造(SSRF)、跨來源資源共用(CORS)與 DNS 重新綁定等安全漏洞,同時新增與 OpenAI 相容的文字轉語音(TTS)端點及全新網頁操作介面,讓地端部署更接近生產級水準。

告別滾動編號!語意化版本控制與公開 API 清理

過去三年半,llama.cpp 與 ggml 憑藉輕量、跨平台的 C/C++ 實作,成為連結消費級筆電到企業伺服器的重要本地推論基礎設施。根據 Hugging Face 與 ggml-org 共同發布的官方部落格指出,目前已有大量下游專案依賴 libllama 與 libggml 函式庫,因此建立清晰且穩定的 API 與 ABI(應用程式二進位介面)邊界已成為當務之急。

在 v1.0.0 中,所有 ggml-org 專案正式採用三段式語意化版本規則:

  • 主版本號(MAJOR):只要 ./include 目錄下的公開 C API(包含 llama.cpp/include/ 與 ggml/include/)發生不相容的破壞性變更,就會遞增主版本號。
  • 次版本號(MINOR):用於向後相容的新功能、硬體後端更新、新模型架構支援或新增 API。
  • 修訂號(PATCH):僅包含不更動 API 的錯誤修正。

為了輕裝上陣迎接 1.0.0 時代,開發團隊在 llama.h 公開標頭檔中進行了大幅技術債清理。官方移除了 llama_set_warmup、35 個已棄用的舊函式,以及 defrag_thold 與對應的 --defrag-thold 參數;同時將原本位於擴充標頭檔 llama-ext.h 的 NextN 投機解碼(Speculative Decoding)API 正式升格納入 llama.h,並將 llama_set_embd_state_src 更名為 llama_set_ctx_state_src。

在發行管道上,官方也持續擴大跨平台覆蓋範圍,除了原有的預編譯執行檔(涵蓋 Linux、macOS、Windows、Android 與 iOS)與 Docker 映像檔外,也透過 Homebrew、conda-forge、Debian、MacPorts、Winget 與 Apple XCFramework 提供套件分發,讓各平台開發者能更輕鬆地鎖定穩定版本進行打包。

延伸閱讀:llama.cpp CI 改造公開:用 Hugging Face Buckets 與 Jobs 解開測試塞車

llama.cpp v1.0.0 正式版官方封面圖
ggml-org 官方發布的 llama.cpp v1.0.0 正式版視覺主圖。 圖片來源:官方原文。
Hugging Face 與 ggml-org 官方部落格發布的 llama.cpp 硬體後端覆蓋展示影片。 來源:官方原文。

FP8 KV 快取登場:長文本記憶體需求直接砍半

在生成式 AI 推論過程中,模型處理長對話或長文件時,必須把先前的注意力鍵值對(Key-Value Cache,簡稱 KV 快取)保留在記憶體中,避免重複計算。然而隨著上下文長度動輒達到數萬甚至十多萬 tokens,KV 快取往往會迅速吃光顯示卡有限的 VRAM。

llama.cpp v1.0.0 在核心層正式導入符合開放運算計畫(OCP)標準的 FP8(f8_e4m3)KV 快取支援。相較於傳統使用的 FP16 或 BF16(每個數值佔用 2 個位元組),FP8 僅需 1 個位元組就能儲存一個鍵或值元素,這意味著 KV 快取的記憶體佔用直接減少一半。

開發者或進階使用者只需在啟動推論時加上 -ctk f8_e4m3 -ctv f8_e4m3 參數,即可分別指定 Key 與 Value 快取採用 FP8 格式,並支援選用的靜態逐張量縮放比例(static per-tensor scales)。同時,官方也修正了量化 KV 快取在裝置端複製狀態時的大小計算問題,並在測試中驗證各模型專屬 build_rope 邏輯與 KV 位移機制的正確性,確保節省記憶體的同時不會對模型輸出品質造成明顯衝擊。

主機記憶體 MoE 專家快取:小顯卡也能流暢跑巨型模型

近年來,混合專家架構(Mixture of Experts,簡稱 MoE)已成為開源大模型的熱門設計。這類模型雖然總參數量極大、整體權重檔案常接近百 GB,但每次生成 token 時只會啟動少數幾個「專家」(Experts)網路。

過去在 VRAM 不足的消費級設備上執行 MoE 模型,使用者必須依賴靜態的層級分割參數(例如將固定幾層留在 GPU、其餘完全交給 CPU),缺乏彈性且容易受限於單一慢速層的瓶頸。llama.cpp v1.0.0 在 llama_context_params 結構中新增了 moe_cache_size 與 moe_cache_cpu_share 欄位,實作出全新的GPU 駐留 MoE 專家快取機制。

專家快取如何運作?

這套機制的設計邏輯非常直觀,將主機系統記憶體(RAM)與顯示卡記憶體(VRAM)進行動態分工:

  1. 完整權重駐留主機 RAM:龐大的 MoE 專家權重全部存放在容量較大的主機記憶體中。
  2. VRAM 劃分動態快取池:在 GPU 上保留一塊可設定大小的快取池,用來存放近期最活躍的專家權重。
  3. 命中與未命中的彈性調度:推論時若路由選中的專家已經在 GPU 快取內,就能直接在 GPU 高速完成計算且不需等待 CPU;若發生快取未命中(cache miss),系統支援透過 LRFU 或 ClassLRU 替換演算法更新快取,同時還能利用可設定的 CPU 分擔比例(moe_cache_cpu_share)協助消化未命中的專家運算,避免完全卡在 PCIe 傳輸瓶頸。

此外,v1.0.0 還支援透過 --shard 與 --ple 參數從獨立的 GGUF 分片檔案載入外部 PLE/engram 資料,並在 Windows 平台上實作了類似 Linux DirectIO 的非緩衝模型載入路徑(unbuffered model load),減少作業系統頁面快取重複複製的開銷,進一步加速大型模型的啟動效率。在核心記憶體最佳化方面,開發團隊也讓後端排程器與計算圖結果能在多次保留配置之間重複利用,並略過未使用的圖元資料頁面,同時將所有取樣鏈標記為計算圖輸出以避免輸出別名(output aliasing)錯誤。

對於嵌入式裝置與整合式顯示卡使用者,v1.0.0 也調整了 iGPU 延遲模式的回退條件,僅在關閉 mmap 時套用,並修正了自動適配參數計算在略過 NextN 層時的 n_gpu_layers 估算邏輯。這些看似微小的底層修正,讓消費級筆電、迷你主機與工作站伺服器在載入超大型模型時能獲得更一致的記憶體行為。

llama-server 安全加固、TTS 語音端點與新版介面

許多開發者會直接將內建的 llama-server 作為區域網路或容器環境中的推論後端,並透過 OpenAI 相容 API 串接各種 AI 代理(Agent)與前端應用。針對這類網路服務場景,v1.0.0 對 llama-server 進行了多項關鍵的安全加固與功能擴充。

在安全性方面,官方團隊修補了多項潛在風險:

  • 網路與存取防護:修復了 --cors-origins 檢查、DNS 重新綁定(DNS rebinding)防護、CORS 代理的伺服器端請求偽造(SSRF)漏洞,並禁止瀏覽器直接存取子實例。
  • 明確的權限預設保護:新增 --allow-unauthenticated-tools 與 --media-allow-private-urls 兩個明確選擇加入(opt-in)的開關,防止伺服器在未經授權或暴露於非本機迴圈位址時,被外部濫用工具或存取內部私有媒體網址。
  • 憑證範圍限制與連線管理:將 HF_TOKEN 環境變數嚴格限制僅能傳送至 huggingface.co 網域;同時在模型上下文協定(MCP)整合上,當用戶端斷線或逾時時,伺服器會主動取消執行中的 MCP 工具呼叫並通知對應的 MCP 伺服器。

在功能面上,llama-server 正式加入與 OpenAI 相容的 /v1/audio/speech 文字轉語音(TTS)端點,以及 /tts 的 temperature 控制選項,配合新支援的 drama-3 TTS(fishaudio)與 Gemma 4 串流音訊輸入,大幅強化多模態語音能力。針對間歇性使用場景,新增的 --sleep-idle-seconds 參數能在閒置時自動釋放資源,並在請求執行期間確保伺服器保持喚醒;內部上下文檢查點(context checkpoints)也從原本的深拷貝(deep copies)改為引用計數(reference-counted)機制,大幅降低多輪對話與共享前綴請求的記憶體複製成本,並優先存取父插槽(parent slots)再處理子插槽。

在開發者體驗與結構化輸出方面,伺服器現已直接接受頂層的 response_format.schema 寫法,並可自動轉換 Responses API 的 text.format JSON Schema,同時在 qwen3-coder、deepseek、ministral3、Muse Spark 與 gemma4 解析器中嚴格遵循 response_format 規範,並對工具參數中的控制字元與無效 UTF-8 進行轉義與清理,降低代理呼叫外部工具時發生解析失敗的機率。

內建的網頁操作介面(Web UI)也迎來全面改版,包含可折疊與重新排列的側邊欄、支援命名的對話群組(Chat groups)、隨長訊息自動展開的即時預覽 Markdown 編輯器,以及針對手機瀏覽最佳化的全螢幕對話與安全區域排版。在處理 PDF 附件時,介面現在能直接顯示純文字與頁面縮圖,並修正過去無限重試轉換的問題,同時加入 search_chats 搜尋工具與右鍵快捷選單,讓地端對話管理更加順手。

模型與硬體覆蓋:支援超過 150 種架構與跨平台後端

根據官方公告,目前 llama.cpp 已經支援超過 150 種模型架構變體與主流的投機解碼方法。在 v1.0.0 發行說明中,團隊再度新增了三種純文字架構,分別為 Kimi-K3.1-Pro(將全注意力 MLA 層替換為 DSA)、Ripple-65B-Preview(ricursive,無需新增算子的 65B 密集架構)與 xing4_0(結合 mHC、MLA、MoE 與 MTP);多模態領域則整合了統一管理的 mtmd 子系統,移除舊版 clip.h,並新增對 MageVL-Cowork 與 Kimi-K3.1 視覺模型的支援。

在底層 ggml v1.0.0 方面,除了同樣清理舊版公開 API 並加入可設定的 YaRN 截斷與 FP8 支援外,各硬體後端也都有針對性的效能最佳化:CUDA 與 Metal 導入少列(few-row)量化矩陣乘法與 MoE 融合算子、Vulkan 新增預填充(prefill)階段的 FlashAttention 路徑、SYCL 實作裝置端 MoE 排程器、OpenCL 改善 Adreno GPU 的 FlashAttention 拆解運算,並持續擴展 WebGPU 核心與高通 Hexagon 算子覆蓋率。無論目標裝置是桌面顯卡、Apple Silicon、行動處理器還是雲端伺服器,都能透過動態載入後端共享這些最佳化成果。

延伸閱讀:微軟推出 Windows 365 for Agents 與 MXC 安全沙箱容器!OpenAI 與 Meta 皆採用,GitHub Copilot Fusion 支援本機路由

常見問題(FAQ)

Q1:升級到 llama.cpp v1.0.0 後,原本的舊版程式或參數還相容嗎? 如果您是直接透過命令列或 OpenAI 相容 API 呼叫 llama-server,大部分日常用法仍維持相容,但請留意像是 --defrag-thold 等已棄用參數已被移除。若您的專案直接連結 libllama 或 libggml 的 C API,建議檢查是否使用了被移除的 35 個舊版函式(如 llama_set_warmup),以及 llama_set_embd_state_src 已更名為 llama_set_ctx_state_src。

Q2:什麼情況下應該開啟 FP8 KV 快取(-ctk f8_e4m3 -ctv f8_e4m3)? 當您需要處理超長上下文(例如 32K、64K 甚至更長的對話或程式碼庫分析),且發現 VRAM 容量不足以容納標準 FP16/BF16 的 KV 快取時,啟用 FP8 KV 快取能直接將快取記憶體減半,是兼顧容量與精度的理想選擇。

Q3:MoE 專家快取跟傳統的 -ngl 或層級卸載有什麼不同? 傳統做法是靜態指定某些模型層留在 CPU 或 GPU,運算效率容易受限。MoE 專家快取則是將專家權重留在系統 RAM,讓 GPU 動態快取近期最常被路由呼叫的專家,並允許搭配 moe_cache_cpu_share 讓 CPU 共同分擔未命中的專家計算,特別適合大參數量 MoE 模型在有限 VRAM 上執行。

Q4:v1.0.0 的 llama-server 在安全性上有哪些需要注意的預設行為改變? 新版預設封鎖了未經授權的工具呼叫與私人網路媒體網址存取(需明確加上 --allow-unauthenticated-tools 或 --media-allow-private-urls 才會放行),並限制 HF_TOKEN 僅能傳送至 huggingface.co,大幅降低將本地推論伺服器暴露在區域網路時的 SSRF 與越權風險。

總結

llama.cpp v1.0.0 與 ggml v1.0.0 的發布,象徵開源地端 AI 推論正式從「高速實驗期」邁入「穩定基建期」。透過語意化版本契約,開發者不再需要擔心一次更新就破壞底層相容性;而 FP8 KV 快取與動態 MoE 專家快取,則讓有限硬體資源得以挑戰更長上下文與更大規模的混合專家模型。再加上 llama-server 的網路安全加固與多模態音訊端點支援,不論是個人開發者或企業內部部署,現在都擁有了一個更成熟、安全且高效能的本地推論底座。

資料來源