自架 Open WebUI + Ollama 企業內網隱私部署指南:16GB / 24GB / 128GB 硬體預算與團隊人數對照表

想在公司內網自架完全離線的 Open WebUI + Ollama 私有 AI 系統?完整解析 16GB、24GB 與 128GB+ 三種硬體預算級距能服務多少位員工、並發排隊瓶頸與該何時升級 vLLM。

Share
Ollama 本地大模型執行環境官方標誌圖

許多台灣製造業、法律事務所與軟體公司老闆聽說「用 Open WebUI 配 Ollama 可以免費在內網架一套公司專屬 ChatGPT」,立刻叫 IT 買了一台三萬元的筆電或入門主機回來部署,結果全公司三十個人同時打開網頁一問問題,系統直接卡死轉圈圈五分鐘。

本地模型「能在一台電腦上跑起來」,跟「能撐住十位同事同時在辦公室使用」,對硬體架構與記憶體併發的要求完全是兩回事。

當多人同時對同一座內網 AI 伺服器發送請求時,系統不只得把模型權重放進顯存,還必須替每一個並發請求保留獨立的上下文快取,否則後面的同事就只能排隊等前一個人算完。

因此,在採購企業內網自架設備前,最務實的做法是先盤點「尖峰時段同時會有幾個人送出提問」以及「需不需要上傳公司幾百頁的機密 PDF 做知識庫問答」。

對想用有限預算把資料安全留在台灣公司機房的 IT 主管與技術窗口來說,這份硬體級距與團隊規模對照表能幫你避開買錯設備的冤枉路。接下來,我們直接拆解三種預算等級的真實承載力。

延伸閱讀:Open WebUI 是什麼?GitHub 破 15.9 萬星的自架私有 AI 介面,企業內網怎麼零成本部署?

Ollama 本地大模型執行環境官方標誌圖
以 Open WebUI 搭配 Ollama 建置企業內網離線 AI 系統時,應依同時在線人數規劃 24GB 至 128GB+ 硬體架構。 圖片來源:官方來源。

為什麼單人跑得很順的電腦,搬進公司內網就變慢?

核心瓶頸在於 KV Cache 記憶體膨脹 與 推論排程機制。

當只有你一個人在本機用 Ollama 時,整張顯示卡 100% 的算力與記憶體頻寬都只服務你一個人;但當五位同事同時在 Open WebUI 上傳合約摘要,如果記憶體容量不夠同時塞進五份長上下文快取,系統就會被迫把請求排成一列依序處理,體感延遲立刻從 3 秒變成 30 秒以上。

企業內網硬體預算級距 建議模型規模與配置 實務建議同時在線人數
16GB VRAM 入門工作站 8B–14B Q4 模型 + 輕量嵌入式 RAG 1–3 人(適合個人測試或極小部門輪流用)
24GB–32GB 高階顯卡主機 14B–32B Q4 模型 + 啟用並發請求設定 5–10 人團隊日常辦公(體感反應最流暢)
128GB+ 多卡/統一記憶體主機 70B+ 模型或雙模型分工(寫碼+摘要) 10–30 人中型團隊(多卡建議改用 vLLM)

提升內網流暢度的三個軟體設定關鍵

買對硬體之後,IT 同仁在啟動這套內網系統時,還有三個不花錢卻能讓體感速度翻倍的架構調整:

第一招:把「文件解析 Embedding 模型」跟「主力對話模型」拆開

在 Open WebUI 的 RAG 設定裡,檔案上傳切塊與向量搜尋只需要極小的 Embedding 模型就能處理。

千萬不要讓系統用同一個大參數對話模型去做向量化,把輕量嵌入模型常駐在記憶體裡,能避免主力顯卡反覆卸載與重載模型造成的卡頓。

第二招:善用 Ollama 的並發與常駐參數

若硬體顯存充足,記得設定 OLLAMA_NUM_PARALLEL 允許同時處理多個請求,並調整模型常駐時間(Keep-Alive),避免同事隔了十分鐘才提問一次卻要重新花時間把十幾 GB 的權重從硬碟讀進顯存。

第三招:人數超過 15 人同時高頻呼叫時,後端換成 vLLM

Ollama 的強項在於單機部署極度簡單,但當你的公司有幾十位業務與工程師整天高頻連線時,請保留好用的 Open WebUI 前端,把後端推論引擎從 Ollama 換成支援連續批次處理的 vLLM(搭配企業級多張 NVIDIA 顯卡),才能把高併發吞吐量徹底榨出來。

延伸閱讀:Ollama、llama.cpp、vLLM 與 MLX 怎麼選?2026 本地大模型四大推論引擎硬體配對指南

企業採購前的折衷方案:「混合雲+敏感資料本地化」

如果預算真的買不起多張高階 GPU 伺服器,台灣中小企業最聰明的做法其實是 混合路由(Hybrid):把 Open WebUI 架在內網當統一入口,員工處理公開新聞翻譯、一般企劃發想時,直接走企業簽約的加密雲端 API(不留存訓練資料、按量付費極便宜);唯有遇到絕密合約、財務報表或研發原始碼時,才切到公司內網那台 24GB 顯卡的離線模型處理。

常見問題(FAQ)

Q1:只用一台沒有獨立顯卡的群暉 NAS 或純 CPU 伺服器跑得動嗎?

Open WebUI 本身可以輕鬆跑在 NAS Docker 裡,但後端的 Ollama 如果沒有 GPU 加速、只靠純 CPU 跑大模型,吐字速度會慢到讓員工放棄使用;純 CPU 主機建議僅當作連接外部企業 API 的聊天介面即可。

Q2:128GB 的 Mac Studio 可以拿來當全公司 30 人的共用 AI 伺服器嗎?

不建議。Mac Studio 雖然記憶體容量大,但同時處理多人高併發請求時的提示詞處理算力(Prefill)不如多卡 NVIDIA 伺服器;超過 10 人以上同時密集使用的場景,仍建議投資支援 vLLM 的多卡顯卡主機。

Q3:如果公司只有 5 個人要用,需要花錢買正版企業授權嗎?

Open WebUI 與 Ollama 核心皆為開源免費下載部署,一般公司內部自用幾乎零軟體授權費(若涉及對外商業轉售或進階客製權限需求,再依官方最新商用條款評估即可)。

Q4:員工上傳的文件會不會讓 A 部門的人問到 B 部門的薪資表?

會不會互相看到取決於權限設定。在 Open WebUI 管理後台建立知識庫時,務必依照部門群組設定明確的存取權限(Access Control),切勿把所有機密檔案都丟進全公司共用的預設知識庫裡。

結語:先定「同時在線人數」,再決定顯存該買多大

內網自架 AI 最怕一開始為了省錢買太低階的設備,結果全公司用兩天覺得太慢就棄用,反而白白浪費採購預算。

用 Open WebUI 搭配 Ollama 替團隊建置私有入口時,先估算出尖峰併發人數並選對 24GB 以上的 GPU 節點,就能讓每位同事真正享受到安全又流暢的內網生產力。

歡迎免費訂閱 AI 郵報,每週追蹤更多實測工具教學與企業私有 AI 部署指南。

Read more