Mac Studio 本地跑 70B/120B+ 大模型選購實測:M4 Max、M3 Ultra 到 M5 Ultra 記憶體門檻與 MLX 速度全解析
想在桌面上離線順跑 70B 甚至 120B+ 大語言模型?本文實測拆解 Mac Studio M4 Max、M3 Ultra 與 M5 Ultra 的統一記憶體容量、頻寬極限與 Apple MLX 推論速度,揭露 64GB 為什麼是 70B 的陷阱與真正划算的採購甜蜜點。
把 70B(700 億參數)或 120B 級別的開源大語言模型搬進自己書房,不用看雲端 API 臉色、也不怕公司機密外洩,是許多工程師、研究人員與接案團隊的夢幻配置。但只要算過顯示卡帳單就知道,用傳統 PC 塞進四張 24GB 顯卡,光機殼、電源與噪音就足以讓書房變成小機房。
這也是為什麼這兩年 Mac Studio 成為本地 AI 玩家眼中的神機。關鍵不在於它的 GPU 浮點運算有多暴力,而在於 Apple Silicon 的「統一記憶體(Unified Memory)」架構——CPU 與 GPU 共用同一塊超高速記憶體池,不用像傳統電腦那樣把資料在系統 RAM 和顯示卡 VRAM 之間搬來搬去,一顆晶片就能擁有高達 128GB、256GB 甚至 512GB 的超大「類顯存」。
不過,買錯規格的代價也很高。很多人在選購時看到「70B 模型量化後只有 42GB」,就以為買 64GB 記憶體的機型剛剛好,結果一開長對話就卡死當機。
決定 Mac Studio 本地跑大模型生死的,只有兩個物理指標:統一記憶體容量(決定模型能不能裝進去),以及記憶體頻寬(決定模型吐字速度有多快)。
這篇文章結合 2026 年 Apple Silicon 世代(M4 Max、M5 Max、M3 Ultra 與 M5 Ultra)的硬體規格與 Apple 官方開源框架 MLX(mlx-lm) 實測表現,幫你算清楚從 70B 到 700B+ 大型 MoE 模型的真實門檻,找出不花冤枉錢的採購甜蜜點。

決定生死的兩把尺:容量、頻寬與 75% 安全容量法則
在看型號跑分前,必須先搞懂本地執行 LLM 時,電腦內部到底發生了什麼事。當模型吐出每一個字(Token)時,GPU 都必須把整個模型幾十 GB 的權重從記憶體讀進核心算一遍。因此:
- 記憶體頻寬決定吐字速度(Tokens/s):LLM 生成階段幾乎完全受限於記憶體頻寬(Memory Bandwidth)。簡單估算,一個 42GB 大小的模型在 546 GB/s 頻寬下,理論極限大約就是每秒讀十幾次;頻寬越高,字就蹦得越快。一般人的閱讀速度大約是每秒 8–12 個字(tok/s),達到 15 tok/s 以上體感就會覺得非常流暢。
- 量化技術(Q4_K_M / 4-bit)是門檻關鍵:原本 FP16(16 位元)的 70B 模型需要約 140GB 記憶體,一般桌機根本塞不下。透過 4-bit 量化(例如常見的 Q4_K_M 或 MLX 4-bit 格式)——白話說,就是把模型權重的數字精度適度壓縮、只保留關鍵細節——70B 模型的體積會立刻縮小到約 40–42GB,效能卻能保留九成五以上。
- 75% 安全容量法則(別被 64GB 騙了):macOS 作業系統本身、視窗介面加上瀏覽器等常駐程式,至少就會吃掉 8–12GB 記憶體。同時,對話越長,用來暫存歷史記憶的 KV Cache(鍵值快取) 還會再吃掉 6–15GB 空間。這代表如果你買 64GB 記憶體想跑 42GB 的 70B Q4 模型,扣掉系統與對話快取後幾乎毫無餘裕,一旦貼入長文件就會觸發 SSD 虛擬記憶體交換(Swap),速度瞬間掉到每秒不到 1 個字。想穩跑 70B,真正的安全底線是 128GB。
延伸閱讀:Mac mini M4 16GB / 24GB / 48GB 本地跑 AI 實測:Ollama 與 MLX 速度差多少、能順跑幾 B 模型?
M4 Max / M5 Max、M3 Ultra 與 M5 Ultra 規格與實測對比
為了讓你在官網選配頁面不再猶豫,以下直接把目前主力 Mac Studio 晶片在統一記憶體上限、頻寬與不同量級模型下的實戰表現整理成對照表(以下測試均以 Apple 原生最佳化的 MLX 框架與 4-bit 量化為基準)。
| 晶片規格 | 最高統一記憶體 | 記憶體頻寬 | 70B Q4 速度(~42GB) | 120B+ / 大型 MoE 表現 | 最適合的採購定位 |
|---|---|---|---|---|---|
| M4 Max / M5 Max | 128GB | 546–614 GB/s | 15–20 tok/s(流暢閱讀) | 過於緊繃,幾乎無 KV Cache 空間,不建議 | 單機穩跑 70B 的性價比甜蜜點 |
| M3 Ultra | 256GB | 819 GB/s | 20–24 tok/s(相當滑順) | 可從容跑 120B+,或壓縮版 405B 模型(約 5–10 tok/s) | 需要同時開多個大模型或跨入百億/四百億參數的研究者 |
| M5 Ultra | 512GB | 1.2 TB/s | 25+ tok/s(接近雲端體感) | 可本地跑 120B–700B+ 大型 MoE 模型,Prefill 讀長文極快 | 團隊共用內網伺服器、極限長文本與超大型專家模型(MoE) |
從這張對比表可以讀出三個非常明確的選購結論:
1. 個人與工作室首選:128GB 版本的 M4 Max / M5 Max
如果你主要跑 Llama 3.3 70B、Qwen 2.5/3 72B 這類「甜點級」旗艦開源模型,搭配 546–614 GB/s 的頻寬,已經能穩定輸出 15–20 tok/s(這代表每秒大約吐出十幾個中文字或英文單字,完全跟得上人類閱讀與寫程式的節奏)。128GB 扣掉 42GB 模型本體,還剩下 80GB 可以留給超長上下文對話、本機開發工具(如 VS Code、Docker)或同時掛載一個向量資料庫,是目前單位價格效能比最高的选择。
2. 跨入 120B+ 與 405B 巨獸:M3 Ultra 256GB
當你的工作流需要用到 120B 以上的高精度程式碼模型,或是想在本機測試 405B 壓縮版模型時,128GB 就會直接爆掉。這時 M3 Ultra(最高 256GB、819 GB/s 頻寬) 提供了足夠的「停車格」,70B 速度提升到 20–24 tok/s,跑起 405B 壓縮版也能維持 5–10 tok/s 的可用閱讀速度,非常適合需要高精度本地推理的個人研究員。
3. 消除「讀長文卡頓」的終極怪獸:M5 Ultra 512GB
許多長期用 Mac 跑本地 AI 的玩家都痛過一個點:吐字(Decode)雖然不慢,但只要丟入一份 3 萬字的 PDF 程式碼或財報,Mac 往往要呆坐十幾秒甚至半分鐘才開始吐第一個字——這就是所謂的 Prefill(預填計算)瓶頸。
M5 Ultra 除了把記憶體推上 512GB、頻寬拉到驚人的 1.2 TB/s(70B 輕鬆破 25+ tok/s)之外,更重要的是在 GPU 內建了新一代 Neural Accelerators(神經網路加速器),讓長文本讀入(Prefill)獲得大幅加速。512GB 的恐怖容量甚至能把 120B 到 700B+ 的大型混合專家模型(MoE,例如 DeepSeek 滿血版或 Qwen 超大 MoE 家族)整套塞進單一桌面主機裡安靜運行,這代表以往需要一台吵雜耗電的 8 卡 H100 機櫃才能載入的參數量,現在一台小方盒就能在書桌上跑起來。
為什麼在 Mac 上一定要用 Apple MLX,而不是只靠預設設定?
買了頂規 Mac Studio 卻覺得速度不如預期,十之八九是跑錯了推論框架。在 macOS 上,除了大家熟悉的 Ollama(底層為 llama.cpp),強烈建議進階玩家或開發團隊改用 Apple 官方機器學習研究團隊開源的 MLX(mlx-lm)。
MLX 是專門針對 Apple Silicon 統一記憶體架構從底層重寫的陣列計算框架。在傳統架構下,系統常需要在不同記憶體區域複製張量(Zero-copy 支援不完整),而 MLX 直接讓 CPU 與 GPU 在同一塊物理記憶體上無縫接力:
- 實測體感差異:在同一個 70B 4-bit 模型上,使用原生
mlx-lm格式通常能比未經特別調校的 GGUF 格式再榨出 10%–25% 的記憶體頻寬利用率,且記憶體佔用峰值更低。 - 極簡啟動指令:透過 Python 安裝後,一行指令就能把 Mac Studio 變成相容 OpenAI 格式的本地 API 伺服器,讓團隊成員的編輯器直接連進來:
pip install -U mlx-lm
mlx_lm.server --model mlx-community/Qwen2.5-72B-Instruct-4bit --port 8080
另一方面,別忘了在 macOS 終端機裡調整系統預設的 GPU 記憶體配額上限(Wired Memory Limit)。macOS 預設會保守地限制 GPU 最多只能鎖定總記憶體的約 70%–75% 來保護系統穩定;如果你確定這台 Mac Studio 是專職當 AI 伺服器,可以透過 sudo sysctl iogpu.wired_limit_mb=... 適度放寬上限,讓 128GB 或 256GB 的機型能裝下更大一點的模型而不會提早觸發報錯。
延伸閱讀:8GB 顯卡筆電還能跑本地 AI 嗎?RTX 4060 實測 7B/8B/14B 模型 Q4_K_M 量化速度與記憶體懸崖
官方影音與實測導讀
想快速感受 Mac Studio 緊湊機身背後的散熱設計與 Apple Silicon 統一記憶體架構展示,可以參考 Apple 官方釋出的短影音與官方頻道技術介紹:
- 官方短片:《Apple Mac Studio 官方重點展示》
- 官方頻道延伸閱讀:《Apple 官方 YouTube 頻道產品與晶片發表影片》
- 導讀重點:
1. 留意 Mac Studio 機身極低功耗與雙風道散熱設計——與動輒 1,000W 以上、全速運轉像吹風機的多卡 NVIDIA 桌機相比,Mac Studio 滿載推論時耗電往往僅百瓦出頭且幾乎聽不到風扇噪音。
2. 搭配 Apple 官方 MLX GitHub 儲存庫(
ml-explore/mlx)中的範例基準測試,可以清楚看到統一記憶體如何在不增加 PCIe 匯流排傳輸延遲的前提下,完成超大規模權重載入。
常見問題(FAQ)
Q1:如果預算有限,買 64GB 的 Mac Studio 跑 70B Q4 真的不行嗎?
技術上「勉強能啟動」,但實務上非常不推薦。70B Q4 權重約 42GB,macOS 與常駐軟體會吃掉 10GB 左右,剩下的空間只夠非常短的對話。只要你貼入幾千字的程式碼或文件,記憶體一滿就會開始讀寫 SSD 硬碟(Swap),速度會從 15 tok/s 暴跌到 0.5 tok/s,還會加速消耗 SSD 壽命。想跑 70B 請直接以 128GB 為起點;若預算只夠買 64GB,建議專心跑 32B 級別模型(如 Qwen 32B Q4/Q6,約佔 20–28GB),體驗會好非常多。
Q2:Mac Studio M5 Ultra 512GB 拿來跑 700B+ MoE 模型,速度真的能用嗎?
可以,關鍵在於 MoE(Mixture of Experts,混合專家架構) 的特性。雖然總參數量高達 600B–700B+、必須靠 512GB 統一記憶體才裝得下完整權重,但每次生成一個字時,系統實際只會啟動其中少數幾個專家網路(例如每次只動用 30B–40B 的有效參數)。因此在 M5 Ultra 的 1.2 TB/s 超高頻寬下,這類超大 MoE 模型的輸出速度依然能維持在令人驚豔的流暢閱讀水準。
Q3:Mac Studio 跟買兩張 RTX 5090(總共 64GB VRAM)比,該選哪一個?
兩者戰場完全不同。雙卡 RTX 5090 擁有極高的算力與 GDDR7 頻寬,在 64GB 以內的模型(如 32B 滿血或影像生成 Flux、長文本大量讀入、微調訓練) 速度會輾壓 Mac Studio;但只要模型超過 64GB(例如 70B 高精度、120B–400B+ 模型),雙卡 PC 就只能放棄或忍受慢如龜速的 CPU 卸載,這時只有 128GB/256GB/512GB 的 Mac Studio 能安靜、省電地整顆載入。
Q4:MLX 模型要去哪裡下載?跟 Ollama 或 LM Studio 相容嗎?
你可以在 Hugging Face 搜尋官方與社群維護的 mlx-community 帳號,裡面幾乎把所有熱門開源模型都預先轉換好了 4-bit 與 8-bit MLX 版本。如果你想用圖形介面不想打指令,目前 LM Studio 也已經原生支援 MLX 推論引擎,下載後直接在搜尋欄篩選 MLX 格式就能一鍵下載執行。