LiteLLM Global Control Plane API 上線:跨雲集中管理,為何不會自動共用預算?

LiteLLM Global Control Plane API 集中管理跨區閘道,保留各地資料庫與憑證。解析 Enterprise 授權、權限、部分回應及不共用全球預算等限制,避免把報表整合誤認成自動備援。

Share
LiteLLM Global Control Plane API 官方跨雲部署架構圖
LiteLLM 官方以獨立部署說明跨雲管理的連線方向。 圖片來源:官方原文。

企業把 AI 服務放在不同雲端與地區後,管理者常要切換多個入口調整密鑰和額度。LiteLLM 11 月 16 日公布 Global Control Plane API,把這些管理操作集中到同一組程式介面。

這個控制平面是管理層,各地區處理模型請求的閘道則各自保留資料庫、快取與憑證。因此集中管理不等於所有推論流量都繞過同一台中央伺服器。

新的 API 讓原本靠介面處理的工作能接進腳本或企業內部入口,但不會自動同步各區密鑰,也不會替所有區域執行同一份總預算。

這個差別會影響故障處理。官方文件表示,中央管理層中斷時,各區仍可依本地設定提供推論,但中央報表和管理功能會暫時無法使用。

已有多個獨立閘道、又需要分區隔離的企業,適合研究這次更新。只有單一部署的團隊,應先確認是否需要 Enterprise 授權與額外管理層。

要看懂這個集中入口的邊界,得先沿著一次管理請求與一次推論請求各走一遍。

LiteLLM 控制平面與地區閘道如何分工?

LiteLLM 的中央入口轉送管理請求,應用程式仍直接呼叫各地推論閘道。這是 Global Control Plane 官方文件最需要先理解的分工,因為它決定哪些故障會影響使用者。

閘道是應用與模型供應商之間的入口,負責驗證使用者、選擇模型並記錄用量。大型企業可能在不同地區各設一套,避免所有應用都依賴同一個資料環境。

控制平面則供管理者使用。例如台北的平台團隊要查看歐洲部署的模型清單,可以向中央管理入口提出請求,再由它向指定部署取得資訊。一般使用者的模型對話,仍送到原本的區域閘道。

中央管理層自己的資料,也要和各區資料分開理解。官方允許僅依設定啟動的管理模式,不必另設中央資料庫,若要透過程式介面動態維護部署登錄與角色,則可使用中央自己的儲存與同步機制。

這個選擇影響多個管理副本如何看到相同設定。公司若準備讓多台管理服務分擔工作,應檢查新增的部署與角色是否一致可見,不能只驗收其中一台成功,就推定所有入口都已同步。

因此,整合管理和整合推論是不同的工作。前者方便平台團隊操作,後者牽涉每一次模型請求走哪條路,這次更新聚焦管理,並沒有自動把所有模型流量改成跨區繞行。

為何各地還要保留自己的資料庫?

各地 LiteLLM 部署保留自己的 PostgreSQL 資料庫與 Redis。前者保存需要持續留存的設定與紀錄,後者處理快取等快速存取需求,這些依賴不必為了中央管理就全部併成一份。

官方的設計目標是隔離故障。某區資料庫或快取發生問題時,其他區域仍有自己的依賴可以使用,中央管理層無法連線時,各區也能依本地設定繼續提供推論。

這項說明有明確前提,各區本身的服務與依賴必須正常。若區域閘道已經故障,不能期待中央管理入口替它回答模型問題。故障範圍縮小,並不等於所有故障都有自動替代路徑。

流量路徑分開後,管理權限也必須在兩層各自確認。否則中央入口雖然很方便,卻可能讓原本應該分開的人員職責被混在一起。

LiteLLM Global Control Plane API 官方跨雲部署架構圖
LiteLLM 官方以獨立部署說明跨雲管理的連線方向。 圖片來源:官方原文。

集中管理如何限制操作人員的範圍?

LiteLLM 控制平面先檢查角色與可存取部署,各地閘道再檢查本地權限。這表示同一個中央入口,可以服務不同職責的操作人員,而不必讓每個人都能修改所有地區。

例如財務分析人員只需要查看用量,維運人員則可能需要調整模型設定。把兩種工作分開授權,才能避免查報表的憑證同時具備更改正式服務的能力。

這裡的憑證是系統辨認呼叫者的資料。新 API 支援的驗證方式與角色範圍,應依 API 參考文件設定,不能因為內部入口已有登入畫面,就省略後端的權限檢查。

中央入口通過驗證之後,也不是直接越過區域閘道的規則。官方文件說明,各地仍會對轉送的管理請求套用本地權限,因此導入時要確認兩邊的身分與職責如何對應。

權限被拒絕,也可能是正常結果

假設某位管理者只被允許查看台灣部署,他對另一區的管理要求被拒絕,可能正是預期行為。驗收除了確認合法操作成功,也應確認越界操作失敗,而不是把所有拒絕都當成串接錯誤。

相反地,若前端把不應出現的部署藏起來,後端卻仍接受直接指定該部署的請求,畫面的限制就沒有真正落實。這類測試需要由有授權的團隊在測試環境完成,本文沒有執行任何企業環境操作。

中央管理也會收到管理與用量資料。資料庫分區保存,有助於維持隔離,但不能直接推導成「所有資料都不會離開地區」,還要檢查哪些資訊回到中央、保存在哪裡,以及誰能查看。

權限能分層,不代表設定與預算也會自動整合。這是產品名稱容易讓人誤會的地方,因為一個全球入口看起來很像一套全球共同帳戶。

哪些內容不會自動同步或跨區備援?

官方文件明列,控制平面不會複製各地密鑰、不會同步區域設定、不會執行共用的全球總預算,也不會替推論請求在地區間自動切換。

密鑰不自動複製,意味著同一個人跨區使用時,身分與憑證仍須按照各區規則處理。不能在甲區建立一把金鑰後,就假設乙區立即可用,遷移計畫要保留這一步。

設定不自動同步,也讓各區可以維持不同模型與供應商。但如果企業政策要求兩區完全一致,就需要另外建立核對與發布流程,不能只看中央管理畫面裡兩套部署都存在。

全球花費看得到,不代表全球額度一起扣

用量加總和預算執行也應分開理解。中央報表能協助管理者看全貌,但各區仍保有本地預算,這和每次請求都扣同一個全球餘額,具有不同的行為。

例如公司希望所有區域合計不得超過一個月的固定金額,應先確認需要的控制流程由誰執行。若只把各區報表加總,超出後才收到通知,就不能把它稱作即時阻擋全部後續請求。

跨區備援同樣需要另外設計。區域甲連不上時,控制平面不會替應用自動改送區域乙,而且即使自行安排切換,也要先確認乙區具備相同模型、權限與可接受的資料處理條件。

文件提到的控制平面執行期設定共享,涵蓋的是它自己的部署登錄與角色,不是把各區域資料庫變成共同資料庫。若需求本來就是共用密鑰與資料,應比較官方另一種多區部署架構。

因為各區保持獨立,跨區報表也可能只回傳部分結果。這使 API 回應的完整性,成為比狀態碼更重要的驗收項目。

延伸閱讀:LiteLLM 限流診斷更新:收到 429 或換模型,怎麼查是哪一條額度擋住?

收到成功回應,為何仍要看 partial?

部分地區失敗時,API 仍可回傳成功狀態與可用資料。官方用 partial 表示至少有一個部署未完整取得結果,讓程式有機會保留正常區域的資訊,同時揭露缺口。

這對報表尤其重要。假設平常彙整三個區域,今天其中一區無法連線,總花費可能看起來突然下降,若只顯示加總數字,閱讀報表的人可能誤以為系統變省錢了。

回應裡的 unreachable 會列出失敗部署和原因。應用可以用這份資訊顯示「部分區域未納入」,並保留查詢條件與時間,讓補查結果能和先前版本對照。

使用量回應還有另一種缺漏,個別部署的金鑰明細超過限制時,會透過 truncated_dataplanes 提示。這種情況與整個部署失聯不同,因為部分資料已取得,但細項未必完整。

全部失敗與部分失敗,要如何分開呈現?

參考文件說明,部分部署成功時回傳二百狀態碼,全部選定部署失敗則回傳五百零三。程式因此需要同時讀取狀態碼與內容,不能用「請求沒有報錯」判斷報表可以直接交付。

若使用者沒有任何可見部署,結果可能是空清單與零合計。這時零並不表示企業完全沒有 AI 花費,也可能只是該呼叫者看不到資料,畫面應交代查詢範圍,避免把權限差異解讀為營運變化。

分組加總也要注意名稱。文件提到,不同部署相同的群組標籤會被合併,金鑰群組會優先使用別名。因此同名團隊若其實是不同單位,管理者要先確認報表的命名規則。

這些欄位讓失敗可以被辨認,但後續要不要重試、何時補齊與如何標示,仍屬於企業應用的設計。管理結果驗收因此需要涵蓋失敗情境與授權條件。

先用唯讀報表驗收,再開放跨區管理

企業可以先檢查區域清單與加總資料,確認權限和缺漏提示符合需求。唯讀操作不會直接更改各區密鑰或額度,比較適合用來建立管理入口的第一份比較基準。

這份基準應保留相同查詢期間和分組方式。若中央報表與區域報表選了不同日期,數字差異就不能直接歸因於整合錯誤,時間與查詢條件必須一起保存,才能找到差距來源。

接著在測試環境模擬一區失聯,檢查畫面是否清楚顯示缺漏,而非悄悄把部分資料當成整體。這會直接影響主管是否能依報表判斷費用與使用趨勢。

唯讀結果驗收通過後,再考慮開放修改操作。每一項變更都應能辨識目標部署、呼叫者與實際結果,讓中央發出指令和區域完成修改之間,有可核對的紀錄。

11 月 16 日發布文章明確指出,這項功能需要 Enterprise 授權。官方並未在該文公布一個適用所有企業的固定費用,因此導入評估還要納入方案與維護成本。

這次更新適合已經有多套獨立閘道、又需要一致管理入口的團隊。若只有一個部署,先做好本地權限、用量與備份,通常比增加一層全球管理更直接。

延伸閱讀:LiteLLM 1.107.0 遭供應鏈攻擊:原碼標籤乾淨,為何安裝包仍能竊取密鑰?

LiteLLM 控制平面常見問題

Global Control Plane API 是免費開源功能嗎?

本次官方公告要求 Enterprise 授權。不能因為 LiteLLM 有開源程式碼,就推定所有企業管理功能都無需商業授權。

區域資料庫分開,就代表中央不會看到任何資料嗎?

中央會收到管理與用量資料。企業仍須核對這些資料的內容、保存位置與存取權,分開部署本身不能取代這份盤點。

中央控制平面故障,所有 AI 服務都會停嗎?

官方設計讓各區依本地設定與依賴繼續提供推論。中央管理與報表會受影響,而某個區域本身的故障,仍要由該區或另外安排的備援處理。

能直接用中央加總報表限制全公司的共同預算嗎?

文件明列不執行共用全球預算。看見各區花費與在每次請求即時扣同一份額度,是兩種不同功能,必須另行確認需要的控制方式。

導入後第一個驗收動作是什麼?

先以相同日期查一份唯讀用量,和各區原始報表比對,再測部分區域缺漏是否清楚呈現。只有結果可追溯,才逐步放行會更改密鑰或額度的操作。

原始資料來源