Local LLM MCP 整合地端與雲端模型:用 FastMCP 打造 Ollama、vLLM 與 LM Studio 統一閘道
開源專案 sandraschi/local-llm-mcp 基於 FastMCP 3.4.4+、FastAPI 與 React 19 打造統一 AI 閘道,將超過 30 項操作整合為 13 個標準 MCP 工具,同步監管 Ollama、vLLM、LM Studio、原生 llama-server 與 28 家雲端供應商。
當開發者在本地電腦與伺服器上部署大型語言模型時,往往會同時接觸好幾套推論引擎:平常快速測試小模型會開 Ollama、需要桌面圖形介面與量化模型管理會用 LM Studio、追求高吞吐量多使用者併發會跑 vLLM,而想搶先體驗最新 GGUF 量化格式的模型時,又得自己編譯並啟動原生的 llama-server。
問題在於,每一套引擎都有各自獨立的連接埠、命令列工具、健康狀態格式與模型載入指令。當我們把這些本地模型串接進 Claude Desktop 或其他 AI 代理(Agent)時,如果每個後端都要寫一組設定,不僅管理零碎,更容易因為兩套引擎同時搶佔顯示卡記憶體(VRAM)而導致崩潰。
開源專案 sandraschi/local-llm-mcp(採用 MIT 授權)正是為了解決這類本地與混合模型機群的管理難題而誕生。它是一個基於 Python FastMCP 3.4.4+、FastAPI 與 React 19 + Vite 6 建構的生產級 Model Context Protocol(MCP)伺服器與統一 AI 閘道。
透過這套系統,開發者能以單一介面管理 Ollama、vLLM、LM Studio、原生 llama.cpp 伺服器以及高達 28 家雲端模型供應商。它不僅把繁雜的底層操作濃縮成 13 個整合型 MCP 工具,還內建斷路器健康監測、Tailscale 遠端節點探測,以及視覺化的網頁控制儀表板。
為什麼需要統一的地端與雲端 MCP 閘道?
在實務開發中,沒有哪一套推論引擎能通吃所有場景。根據 local-llm-mcp 官方 README 的架構說明,即便是同一張 RTX 4090 顯示卡,不同時期也可能需要切換不同引擎:例如在執行 Meta 開源的 30B 代理多模態模型 Muse Glimmer(支援 131K 上下文與 DFlash 投機解碼)時,由於其較新的 kquant GGUF 格式尚未被舊版封裝工具收錄,團隊會選擇由 llama-server(連接埠 11439)直接掛載運作;而當需要跑 Qwen、Gemma 或 DeepSeek 等日常堆疊時,才會切換回 Ollama(連接埠 11434),避免兩者同時搶佔約 21 GB 的 VRAM。
面對這種多引擎並存的現實,如果缺乏統一的調度與閘道層,上層應用程式與 AI 代理就必須自行處理連線失敗、請求過長截斷、引擎啟停與金鑰切換等瑣事。
以該專案實際運行的架構為例,它在連接埠 11435 前置部署了一個「截斷代理」(Truncating proxy)作為 opencode 與機群伺服器的統一前門,負責在請求送進原生 llama-server 之前,自動修剪過長的對話請求、固定使用者訊息(pin user message)並對允許呼叫的工具進行白名單過濾;透過這套保護機制,再搭配 config.yaml 宣告的 local-llama 供應商設定(指向 http://127.0.0.1:11435/v1,支援影像輸入與 131K 上下文),單張 RTX 4090 就能在 Muse Glimmer 30B 上維持約每秒 40 tokens 的流暢推論表現。local-llm-mcp 正是將這類實戰經驗標準化,把「MCP 工具操作介面」與「OpenAI 相容 HTTP 代理閘道」合而為一,讓上層客戶端只需對接一個統一入口,就能順暢調度地端與雲端算力。
在安裝與啟動流程上,開發者只需要在專案目錄下執行 just bootstrap 安裝相依套件與 pre-commit 檢查鉤子,接著執行 just serve 就能以標準輸入輸出(stdio)模式啟動 MCP 伺服器;若搭配前端儀表板與閘道服務,系統則會分別在連接埠 10832 與 10833 提供完整服務。
延伸閱讀:llama.cpp CI 改造公開:用 Hugging Face Buckets 與 Jobs 解開測試塞車

13 個整合型 MCP 工具:涵蓋推論、多模態與 GPU 監管
在設計 MCP 工具時,如果把幾十個細碎的 API 一對一暴露給大型語言模型,容易造成模型上下文膨脹與選錯工具。local-llm-mcp 採用官方稱為「Portmanteau Tools」(複合式工具)的設計模式,將超過 30 項底層操作收斂成 13 個職責明確的 MCP 工具,且所有工具皆回傳標準的 {success, message, data} 結構:
- 本地引擎與生命週期管理:包含
llm_ollama(列出、拉取、刪除、載入與卸載模型)、llm_lmstudio(模型管理與退出,以及探測 LM Link 連線狀態)、llm_vllm(透過 Docker 管理伺服器的啟停、狀態與設定更新),以及負責核心監管的llm_engine(同步監看 Ollama 與llama.cpp伺服器的行程、連接埠、VRAM 佔用與已載入模型)。 - 模型目錄與生成推論:包含
llm_models(模型註冊與統計)、llm_generation(文字生成、對話補全、向量嵌入 Embedding 與串流生成)、llm_multimodal(影像分析、生圖與圖像比對)以及llm_finetuning(支援 LoRA 微調轉接器的載入、卸載與清單查詢)。 - 生態系與硬體監控:包含
llm_huggingface(搜尋與下載模型及資料集)、llm_google_cloud(串接雲端生成與嵌入)、llm_gpu(查詢 GPU 狀態、清理記憶體與最佳化)、llm_health(健康檢查、供應商探測與系統指標收集)與llm_help(動態查詢工具簽章與說明)。
此外,該專案還利用 @mcp.tool(app=True) 實作了 show_status_app 卡片元件,能在支援的聊天介面中直接渲染出伺服器、供應商與推論引擎的即時狀態卡片,大幅提升人機協作的可視性。對於需要頻繁切換專案或同時開多個代理視窗的工程師來說,不需離開對話畫面就能確認目前哪個後端正在運作、哪張顯示卡還有剩餘記憶體,讓本地模型調度變得更加直覺。
Lightport 相容 AI 閘道與斷路器健康監測
除了讓 AI 代理透過 MCP 協定呼叫工具之外,local-llm-mcp 在連接埠 10833 上也同步提供了一個與 Lightport 相容的 OpenAI 代理閘道(POST /v1/chat/completions)。這讓專案不只服務支援 MCP 的新世代代理,也能直接支援所有早已採用 OpenAI API 規格的既有應用程式、編輯器外掛與自動化腳本。
任何支援 OpenAI SDK 的現有應用程式,只要將 base_url 指向 http://127.0.0.1:10833/v1,就能直接切換不同後端模型。開發者可以透過 HTTP 標頭(例如 x-lightport-provider: deepseek)或模型名稱前綴(例如 anthropic/)來指定路由對象。以 Python SDK 為例,程式碼完全不需要重寫邏輯,僅需調整客戶端初始化與預設標頭即可完成路由切換:
from openai import OpenAI
client = OpenAI(base_url="http://127.0.0.1:10833/v1", api_key="sk-...")
client.default_headers["x-lightport-provider"] = "deepseek"
resp = client.chat.completions.create(model="deepseek-chat", messages=[...])
涵蓋 3 大本地引擎與 28 家雲端供應商
在本地端,閘道預設自動偵測三大熱門引擎:
- Ollama(11434 埠):適合輕量級開發者工作流與快速切換量化模型,具備斷路器保護的健康檢查機制。
- LM Studio(1234 埠):適合重視隱私與桌面圖形介面的模型評估,結合健康檢查與 LM Link 遠端節點探測。
- vLLM(8000 埠):專為高吞吐量、批次處理與多使用者 GPU 環境設計,支援由 Docker 管理的容器化生命週期。
在雲端方面,閘道一次整合了 28 家主流服務,包含 Anthropic、OpenAI、Gemini、Azure、AWS Bedrock、DeepSeek、Featherless、Fireworks、Groq、Hyperbolic、Lepton、Mistral、Modal、Nebius、Novita、OpenRouter、Perplexity、Replicate、SambaNova、SiliconFlow、Together、xAI (Grok)、Cohere、DeepInfra 與 Anyscale 等,方便開發者在「地端隱私推論」與「雲端高階模型」之間無縫備援。
內建斷路器(Circuit Breaker)避免雪崩式逾時
在多模型並存的環境裡,最常見的痛點是某個本地服務忘記啟動、或是某家雲端供應商暫時無回應,導致整個 AI 代理工作流卡在漫長的連線逾時中。為了解決這個問題,local-llm-mcp 內建了專門的供應商健康服務(Provider Health Service):系統每 60 秒會對各供應商進行一次存活探測並快取結果;只要連續發生 3 次失敗,斷路器就會自動觸發並進入 60 秒冷卻期,避免重複發送無效請求。
同時,該服務會以結構化的 ProviderHealth 資料格式記錄 ok、reachable、model_count、error 與 latency_ms 等欄位,並透過 GET /api/v1/health、GET /api/v1/diagnostics 與 GET /v1/gateway/providers/health 三個端點對外暴露,讓外部監控工具或代理本身都能即時掌握目前可用的算力節點與回應延遲。
React 19 視覺化儀表板與 Tailscale LM Link 網狀互連
對於習慣透過瀏覽器掌握硬體與模型狀態的使用者,local-llm-mcp 在連接埠 10832 提供了基於 React 19 + Vite 6 + TailwindCSS 建構的網頁儀表板,將原本藏在終端機裡的系統遙測與測試工具全部視覺化,涵蓋多達 10 個專屬頁面:
- 核心總覽與設定(Dashboard
/、Settings/settings、Help/help):首頁直接顯示 KPI 統計卡片、各供應商健康狀態、LM Link 連線狀況與後端連線指示燈;設定頁則提供 Ollama、LM Studio 與 vLLM 的自動偵測掛接(glom-on)與環境參數配置。 - 即時效能與用量分析(Performance
/performance、Analytics/analytics):即時監控顯示卡 VRAM、系統記憶體 RAM 佔用、推論延遲 telemetry 與長期使用量統計,協助開發者判斷何時該卸載模型或切換量化版本。 - 動態工具、技能與機群探索(Tools
/tools、Skills/skills、Fleet/fleet):Tools頁面會直接從GET /api/v1/tools動態拉取當下註冊的 MCP 工具目錄(絕不寫死清單),Skills頁面則透過GET /api/v1/skills渲染各個SKILL.md技能說明,方便團隊成員快速查詢代理能執行的動作與規範。 - 互動對話與多模態實驗室(Chat
/chat、Vision/vision):內建支援技能感知與 4 種以上人格設定的對話介面,包含對話匯出與語音 TTS/STT 功能;多模態頁則提供影像理解與視覺模型的快速測試環境。
更特別的是它對 LM Link(Tailscale + LM Studio) 的整合。透過 llm_lmstudio(operation="link_status") 指令或底層的 lms link status --json 探測,系統可以識別透過 Tailscale 加密網狀網路連線的遠端運算節點,回傳線上同儕設備清單(peers)、各設備目前載入的模型、連線狀態與偏好的運算裝置;同時供應商健康檢查端點也會將 LM Link 的狀態資料納入 lm_link 欄位回傳,而底層的網路層控制則可搭配同作者開源的 tailscale-mcp 專案進行跨倉庫協同操作。這讓擁有多台桌機、筆電或工作站的開發者,能在自家區域網路或遠端環境中把分散的 GPU 算力串連成私人推論網。
實戰應用場景:從單機 VRAM 調度到混合雲成本控管
對於個人開發者或小型技術團隊而言,導入 local-llm-mcp 可以立刻解決三個常見的實務痛點:
- 大型模型與日常模型的無縫切換:透過
llm_engine與llm_gpu工具,代理在執行需要長上下文與複雜推理的任務時,可以先確認 VRAM 狀態並切換至原生llama-server載入大型模型;待任務結束後再卸載並切回輕量的 Ollama 堆疊,大幅降低手動管理行程的心智負擔。 - 地端優先、雲端備援的混合路由:利用 Lightport 相容閘道與 28 家雲端供應商的統一介面,開發者可以把隱私敏感的程式碼補全與內部文件摘要留在本地的 Ollama 或 LM Studio 處理,僅在需要超強推理能力時,透過標頭或模型前綴將特定請求路由至 Anthropic、OpenAI 或 DeepSeek,兼顧資料隱私與預算控制。
- 透明可稽核的代理行為:透過 React 19 儀表板的
Tools、Skills與Performance分頁,人類工程師能隨時查看代理目前擁有那些工具權限、平均推論延遲與 VRAM 波動情況,不再像過去一樣對本地背景服務的運作一無所知。
延伸閱讀:微軟推出 Windows 365 for Agents 與 MXC 安全沙箱容器!OpenAI 與 Meta 皆採用,GitHub Copilot Fusion 支援本機路由
常見問題(FAQ)
Q1:如果我的電腦同時安裝了 Ollama 與原生 llama-server,local-llm-mcp 會怎麼處理?
專案內建的 llm_engine 工具專門負責引擎監管,能同步追蹤 Ollama 與 llama.cpp 伺服器的行程、連接埠、VRAM 使用量與已載入的模型。在需要切換大型模型(如佔用 21 GB VRAM 的 Muse Glimmer 30B)時,開發者可透過工具或儀表板明確卸載另一套引擎的模型,避免顯卡記憶體溢位。
Q2:已經有用 OpenAI Python SDK 寫好的舊程式,需要為了它全部改寫成 MCP 呼叫嗎?
不需要。local-llm-mcp 在連接埠 10833 提供了完全相容 OpenAI /v1/chat/completions 格式的代理閘道,原本的程式只需修改 base_url 並搭配 x-lightport-provider 標頭或模型前綴,就能直接路由至 Ollama、vLLM、LM Studio 或 28 家雲端供應商。
Q3:如果某個本地或雲端供應商突然斷線,代理請求會一直卡住嗎? 系統內建斷路器保護機制,當某個供應商連續失敗 3 次後,會自動進入 60 秒的冷卻暫停狀態,並回傳結構化的健康診斷資料,防止代理在無回應的端點上耗盡時間。
Q4:這套工具的授權方式與技術堆疊是什麼?
sandraschi/local-llm-mcp 採用寬鬆的 MIT 開源授權,後端基於 Python 的 FastMCP 3.4.4+ 與 FastAPI 開發,前端儀表板則採用 React 19、Vite 6 與 TailwindCSS,並支援透過 just bootstrap 與 just serve 快速啟動。
總結
sandraschi/local-llm-mcp 示範了現代本地 AI 基礎設施應有的整合樣貌:它沒有強迫開發者只能選用單一推論引擎,而是透過 FastMCP 把 Ollama、LM Studio、vLLM、原生 llama-server 乃至於 28 家雲端模型供應商,統一收斂進 13 個結構清晰的 MCP 工具與一個 OpenAI 相容閘道之中。搭配斷路器容錯、Tailscale 遠端節點探測與 React 19 儀表板,無論是個人建置多模型工作站,或是在小型團隊內共用混合算力,都能顯著降低維運與切換的摩擦力。