雙顯卡 48GB 顯存平民工作站!兩張二手 RTX 3090 跑 70B 大模型比買新卡划算多少?
想在本地端流暢執行 70B 大型語言模型,又不想花十幾萬買頂級新顯卡與 128GB 記憶體?兩張二手 RTX 3090 組成 48GB VRAM 工作站,透過張量並行即可完整裝下 70B Q4_K_M 模型,本文拆解成本、電力與散熱實務門檻。
想在辦公室或家裡架設一台能順跑 70B 等級開源大模型的本地工作站,翻開全新硬體報價單往往直接被勸退:一張頂規 RTX 5090 加上 128GB 高頻記憶體,整機組起來動輒突破新台幣十幾萬元,而且單卡顯存依然塞不下一整顆 70B 模型。
這也是為什麼許多本地 AI 玩家至今仍鎖定「兩張二手 RTX 3090」。單張 3090 擁有 24GB 顯存,雙卡並聯剛好湊出 48GB 總 VRAM,能把一顆 70B Q4_K_M 量化模型(約 40GB)完整裝進顯示記憶體。
不靠雲端 API、不讓公司資料外流,這套「雙 3090 平民工作站」究竟能省下多少錢,又有哪些電源與散熱坑必須提前避開?
延伸閱讀:RTX 5080 16GB 本地 LLM 顯存配置完全指南
延伸閱讀:Mac M4 Max 64GB vs 128GB 跑 MLX 本地模型實測差異

為什麼 48GB VRAM 是 70B 模型的黃金門檻?
70B 級別模型(例如 Llama 3.3 70B 或 Qwen 2.5 72B)在標準 4-bit Q4_K_M 量化下,模型權重檔案大小約在 40GB–42GB 之間。若使用單張 24GB 或 32GB 顯卡,剩餘的層數勢必溢出到主機板系統記憶體,導致推論速度大幅下滑。
透過兩張 RTX 3090 組成 48GB VRAM,在 vLLM 或 llama.cpp 中開啟張量並行(Tensor Parallelism, TP=2),系統會把每一層的矩陣運算平均拆給兩張卡同步計算。扣除權重佔用的 40GB,兩張卡還合計剩下約 6GB–8GB 空間可以容納 KV Cache,讓 70B 模型全程在 936 GB/s 的高頻寬 VRAM 內高速運轉。
雙二手 RTX 3090 vs 頂規新卡工作站比較表
從預算、顯存容量與 70B 實際可執行性來看,雙 3090 方案的性價比優勢非常鮮明:
| 硬體方案 | 總 VRAM 容量 | 70B Q4_K_M(~40GB)存放方式 | 預估顯卡投入成本 | 電力與機殼要求 |
|---|---|---|---|---|
| 雙張二手 RTX 3090 | 48GB | 100% 完整駐留於 VRAM | 相對親民(僅新旗艦卡的一小部分) | 需 1000W+ 電源、良好風道與雙槽以上 PCIe 間距 |
| 單張全新旗艦卡(如 RTX 5090)+ 128GB RAM | 32GB VRAM + 系統 RAM | 部分層數須溢出至系統 RAM | 極高(單卡即數萬至十萬級距) | 需高瓦數 ATX 3.0/3.1 電源,單卡安裝較簡單 |
| 高階 Mac Studio / MacBook Pro(64GB+) | 64GB–128GB 統一記憶體 | 完整駐留於統一記憶體 | 高(整機價格昂貴) | 極省電安靜、免組裝,但首字生成通常較獨立雙顯卡慢 |
如果是單純要「在有限預算內順跑 70B 模型與多人同時推論(vLLM 併發)」,兩張二手 RTX 3090 幾乎是目前桌機平台上最難被取代的選擇。
組裝雙 3090 工作站前必看的 4 個硬體眉角
便宜歸便宜,兩張 350W 等級的旗艦卡塞進同一台主機,以下四項規格沒選對很容易直接熱當或重開機:
- 電源供應器(PSU)不能省:兩張 RTX 3090 滿載峰值功耗可觀,建議至少搭配 1000W 至 1200W 的金牌以上電源(850W 僅勉強夠單純限功耗跑推論,不建議滿血壓測),並確認具備足夠的獨立 PCIe 8-pin 供電線材。
- 主機板 PCIe 插槽間距:消費級主機板常把第二條 x16 插槽設計得離第一條太近,會讓三槽厚度的 3090 互相貼死、進風窒息。務必挑選插槽間距達 3–4 槽的工作站主機板,或使用 PCIe 延長線搭配開放式機架。
- 推論時可適度限制功耗(Power Limit):透過
nvidia-smi -pl 250將每張 3090 的功耗上限鎖在 250W–280W,對 LLM 推論速度影響極微(因推論主要看顯存頻寬而非滿載核心時脈),卻能大幅降低發熱量與風扇噪音。 - 二手卡況驗機:購買二手 3090 時務必實測 VRAM 燒機與背板記憶體溫度,必要時更換導熱墊,避免舊卡在高負載下觸發降頻。
常見問題(FAQ)
Q1:雙 RTX 3090 跑本地 LLM 一定要插 NVLink 橋接器嗎?
不一定需要。對於 llama.cpp 的單人對話或 vLLM 推論來說,即使沒有 NVLink、單純走主機板 PCIe 通道,開啟張量並行依然能順暢運作;NVLink 主要在進行多卡微調訓練(Fine-tuning)或高併發時才有較明顯幫助。
Q2:兩張卡接在 PCIe 4.0 x8 + x8 或甚至第二張走 x4 會影響速度嗎?
模型載入速度會稍微變慢,但一旦權重載入完成,單純進行文字生成推論時對 PCIe 頻寬的依賴遠低於訓練階段,x8 + x8 甚至 x16 + x4 都能正常跑出高流暢度。
Q3:850W 電源供應器真的完全不能用嗎?
如果搭配低功耗 CPU 並透過 nvidia-smi 強制將兩張 3090 限流在 220W–250W,850W 高品質電源在推論時勉強可撐住;但考量瞬間峰值電流與系統穩定度,新建工作站強烈建議直接上 1000W 以上。
結語:用舊世代旗艦顯存,換取跨世代的本地模型自由
硬體規格的演進讓算力不斷翻倍,但「48GB 顯存」這道實務門檻在二手市場上反而造就了雙 RTX 3090 的超高性價比。只要妥善處理電源瓦數、PCIe 散熱空間與功耗限制,你就能用遠低於全新頂規工作站的預算,把 70B 大模型安穩放進自己的機殼裡。歡迎免費訂閱 AI 郵報,每週追蹤更多消費級本地 AI 硬體實測與免寫程式效率教學。