Mac mini M4 16GB / 24GB / 48GB 本地跑 AI 實測:Ollama 與 MLX 速度差多少、能順跑幾 B 模型?

想買 Mac mini M4 當作全天候離線 AI 主機,卻卡在該選 16GB、24GB 還是直上 M4 Pro 48GB?本文完整解析統一記憶體容量與頻寬對本地大語言模型的影響,實測 Ollama 與 Apple MLX 框架在 7B、14B 與 32B 模型的每秒吐字速度,並附上選購對照表。

Share
Apple Mac mini M4 桌上型本地 AI 推論硬體環境示意圖
Mac mini M4 憑藉統一記憶體架構與低功耗優勢,成為台灣個人開發者架設本地 AI 主機的熱門選擇。 圖片來源:Unsplash 官方授權圖庫。

巴掌大小、待機功耗不到 10 瓦,加上基本款全面升級 16GB 起跳,讓蘋果 Mac mini M4 系列成為近期台灣開發者與文字工作者架設「全天候本地 AI 主機」的討論焦點。

但真正打開蘋果官網準備下單時,許多人看著記憶體選配頁面卻立刻陷入選擇困難:買 16GB 基本款夠用嗎?加價升到 24GB 值不值得?還是非得直上 M4 Pro 的 48GB 才能體驗真正流暢的離線 AI?

更讓人困惑的是,網路上有人說跑 8B 模型順到飛起,也有人抱怨卡成幻燈片——其實關鍵往往不只在於你買了幾 GB,還取決於你用的是跨平台的 Ollama,還是專為 Apple Silicon 打造的 MLX 框架。

這篇文章會直接拆解統一記憶體容量與記憶體頻寬的底層限制,並把 16GB、24GB 與 48GB 在 Ollama 與 MLX 上的真實推論速度與適用模型規模一次攤開比較,讓你在刷卡前就知道每一分錢買到什麼樣的 AI 體驗。

延伸閱讀:18 萬星開源神器 Ollama 懶人包:一行指令在電腦跑本地 AI 入門全攻略

Apple Mac mini M4 桌上型本地 AI 推論硬體環境示意圖
Mac mini M4 憑藉統一記憶體架構與低功耗優勢,成為台灣個人開發者架設本地 AI 主機的熱門選擇。 圖片來源:Unsplash 官方授權圖庫。

跑本地 AI 先懂這兩個物理極限:記憶體容量 vs 記憶體頻寬

在傳統 Windows PC 上跑本地模型,大家看的是獨立顯示卡(例如 RTX 4070、RTX 5080)的 VRAM 大小與頻寬;但到了蘋果 Mac mini M4 身上,遊戲規則變成了 統一記憶體架構(Unified Memory Architecture)。

CPU 與 GPU 共享同一塊高速記憶體池,這讓 Mac 能用遠低於高階工作站顯卡的價格,塞進大容量的模型權重,但同時也受到兩個物理指標的嚴格制約:

記憶體容量決定「能載入多大參數(幾 B 模型)」

大語言模型在推論時,必須把整個模型的參數權重(外加對話上下文 KV Cache 與 macOS 系統本身佔用的 3–4GB 空間)全部放進記憶體裡。

以最常見的 4-bit 量化(例如 Q4_K_M) 來估算,每 10 億參數(1B)大約需要 0.6GB 到 0.7GB 的空間。如果模型加上系統需求超過了你的實體記憶體上限,系統就會開始動用硬碟當作虛擬記憶體(Swap),這時吐字速度會瞬間從每秒幾十個字掉到每秒不到 1 個字,幾乎無法使用。

記憶體頻寬決定「每秒能生成多少字(tok/s)」

大語言模型每生成一個字(Token),GPU 就必須把整個模型權重從記憶體裡重新讀取一遍。因此,本地跑 AI 幾乎完全受限於「記憶體頻寬(Memory Bandwidth)」,而不是單純的運算核心數量。

這也是為什麼標準版 M4(頻寬約 120 GB/s) 與 M4 Pro(頻寬約 273 GB/s) 之間會出現超過兩倍的體感差距——頻寬越高,模型吐字就越像水流一樣順暢;頻寬越窄,就算模型塞得進去,生成速度也會有明顯的天花板。

晶片規格 記憶體容量選項 記憶體頻寬 決定什麼體驗
Apple M4(標準版) 16GB / 24GB 約 120 GB/s 決定 7B–14B 模型能否順暢吐字與日常單人使用
Apple M4 Pro 24GB / 48GB / 64GB 約 273 GB/s 吐字速度翻倍以上,並可載入 32B 級別高智商模型

16GB / 24GB / 48GB 實測表現:Ollama 與 MLX 速度差多少?

除了硬體規格之外,軟體框架的選擇對 Mac mini M4 的推論速度影響非常直接。

多數新手會優先安裝 Ollama(底層為 llama.cpp),優點是跨平台、指令簡單且幾乎所有開源客戶端都支援;而進階 Mac 用戶則越來越偏好蘋果開源團隊打造的 MLX(透過 mlx-lm 或 LM Studio 的 MLX 引擎執行),因為它直接針對蘋果統一記憶體與 Metal 架構做底層最佳化。

根據各級距規格在 4-bit 量化模型下的實測表現,兩者的差異非常明顯:

16GB 基本款(M4,120 GB/s):7B–9B 主力機的甜蜜點

在 16GB 記憶體下,扣除系統與瀏覽器常駐佔用後,安全可用於載入模型的空間大約在 10GB 到 11GB 左右。這剛好能非常舒服地跑 7B 到 9B 參數規模的模型(例如 Llama 3.1 8B、Qwen 2.5 7B 或 Gemma 2 9B)。

使用 Ollama(Q4_K_M) 執行 7B–9B 模型時,生成速度大約落在 18–25 tok/s,已經比一般人類的閱讀速度還要快;若改用 MLX 框架執行同級 4-bit 模型,速度可以提升到 22–30 tok/s,整體快了約 15%–30%。

24GB 進階款(M4,120 GB/s):跨入 14B 中型模型的門檻

升級到 24GB 之後,你獲得了將近 18GB 左右的模型可用空間,這讓你得以突破 16GB 的限制,順利載入推理能力與中文語意明顯更強的 14B 參數模型(例如 Qwen 2.5 14B 或 Phi-4 14B)。

不過受限於標準版 M4 約 120 GB/s 的記憶體頻寬,在 24GB 機型上跑 14B 模型時,Ollama 大約落在 10–12 tok/s(接近一般人慢慢閱讀的速度);切換到 MLX 則可拉升至 14–16 tok/s,體感會流暢許多。

48GB 高階款(M4 Pro,273 GB/s):解鎖 32B 模型與超高速體驗

一旦預算拉到配備 M4 Pro 晶片與 48GB 統一記憶體 的版本,遊戲體驗就會迎來質變——不僅可用記憶體暴增到 36GB 以上,記憶體頻寬更直接翻倍到 約 273 GB/s。

在這台機器上跑 7B–8B 模型,速度直接衝上 45–60+ tok/s,幾乎是按下 Enter 的瞬間整段回答就噴出來;更重要的是,它能夠輕鬆載入 32B 4-bit 量化模型(例如 Qwen 2.5 32B 或 DeepSeek-R1-Distill-Qwen-32B),並且依然能維持 11–15 tok/s 的可用生成速度,讓你在家就能擁有接近雲端旗艦級別的程式編寫與邏輯推理戰力。

Mac mini M4 規格 安全順跑模型上限(4-bit) Ollama 實測速度(tok/s) MLX 實測速度(tok/s) 體感與適用場景
M4 / 16GB(120 GB/s) 7B–9B 參數模型 約 18–25 tok/s 約 22–30 tok/s 順跑日常摘要、翻譯、輕量問答與本地 RAG
M4 / 24GB(120 GB/s) 14B 參數模型 約 10–12 tok/s 約 14–16 tok/s 可跑中等複雜度文案、基礎寫程式與長上下文
M4 Pro / 48GB(273 GB/s) 32B 參數模型(7B–8B 達 45–60+ tok/s) 7B–8B:45+ / 32B:約 11–13 tok/s 7B–8B:60+ / 32B:約 13–15 tok/s 複雜寫程式、本地 Agent 工作流、多工同時開編輯器

誰該買哪一款?Mac mini M4 本地 AI 選購決策對照表

硬體規格沒有絕對的好壞,只有適不適合你的預算與工作流。為了避免花冤枉錢買到規格過剩,或者買了 16GB 回來才發現跑不動想要的模型,你可以直接對照下表做決定:

你的真實使用需求 推薦購入規格 建議搭配執行框架 為什麼這樣選最划算
純嘗鮮、文件摘要、搭配雲端 API 做混合知識庫 M4 16GB Ollama 或 LM Studio (MLX) 價格門檻最低,7B–9B 模型跑起來已經非常流暢
想跑 14B 模型提升中文品質,且同時開瀏覽器與 IDE M4 24GB 優先使用 MLX 引擎 多出來的 8GB 剛好容納 14B 模型與日常軟體不卡頓
重度本地程式輔助、執行多步驟 AI Agent、想跑 32B 模型 M4 Pro 48GB MLX 搭配本地 MCP 工具 273 GB/s 頻寬加上 48GB 容量,是唯一能順跑 32B 的甜區

延伸閱讀:RTX 5080 16GB 跑本地 AI 夠用嗎?量化模型與顯存實測指南

結語:買對規格後,把軟體調校到最佳狀態

總結來說,Mac mini M4 系列憑藉安靜、省電與統一記憶體設計,確實是目前個人架設離線 AI 主機性價比極高的方案:預算有限選 16GB 就能順跑 7B–9B;重視中文準度選 24GB 跨進 14B;想追求 32B 大模型與極致吐字速度,就直接鎖定 M4 Pro 48GB。

不管你最後入手哪一個版本,都強烈建議在 macOS 上優先嘗試支援 MLX 格式的量化模型(例如透過 LM Studio 切換 MLX 引擎或直接使用 mlx-lm),光是這項軟體切換就能免費幫你多榨出 15% 到 30% 的推論速度,讓本地 AI 用起來更像雲端服務一樣即時順手。

延伸閱讀:新手在 Windows 或 Mac 跑本地 AI 選 Ollama 還是 LM Studio 完整對比

常見問題(FAQ)

Q1:16GB 的 Mac mini M4 可以硬塞 14B 模型來跑嗎?會發生什麼事?

技術上雖然能透過系統記憶體交換(Swap)硬塞進去,但實務上完全不建議這麼做。扣除 macOS 系統本身與背景軟體佔用後,16GB 機型留給模型的空間已不足以完整裝下一個 14B Q4_K_M 模型與對話上下文。一旦觸發 SSD 虛擬記憶體讀寫,推論速度會暴跌至每秒 1 到 2 個字甚至更慢,還可能導致整個電腦畫面卡頓並加速固態硬碟損耗。

Q2:既然 MLX 比 Ollama 快 15%–30%,那我還要裝 Ollama 嗎?

這取決於你的生態系需求。如果你需要將本地模型當成背景服務,串接 AnythingLLM、Dify、Continue 等第三方開源工具,Ollama 依然擁有最廣泛的開箱即用相容性;但如果你平常主要是在 LM Studio 或終端機裡直接對話、寫程式,或者想在有限的 120 GB/s 頻寬下壓榨出最高吐字速度,那麼改用 MLX 格式模型會帶來最明顯的流暢度提升。

Q3:Mac mini M4 跑本地 AI 時,內建 SSD 容量需要選到 512GB 或 1TB 嗎?

如果你打算長期在機器上測試多款不同尺寸的開源模型(一個 7B 量化模型約 4–5GB,14B 約 8–9GB,32B 則約 18–20GB),256GB 基本款很快就會被模型權重塞滿。建議預算許可至少直上 512GB,或者搭配一條高速 Thunderbolt 外接 SSD 專門存放不常用的模型檔案,是更省錢的擴充做法。

資料來源

Read more