Vercel AI Gateway 新增 Private Inference:自架模型、權限與備援怎麼整合?

Vercel Private Inference 讓企業把自己的模型端點接進 AI Gateway,與公開模型使用同一組介面、驗證和紀錄。團隊不必只因模型放在自己管理的環境,就另外維護一套呼叫方式。了解功能開放條件、操作範圍與團隊試行方法,依官方公告釐清適用情境。

Share
Vercel Private Inference 公告圖,右側列出私人供應者與 private 模型名稱
Vercel 官方以私人供應者與模型清單介紹 AI Gateway 的 Private Inference 整合。 圖片來源:官方原文。

Vercel Private Inference 讓企業把自己的模型端點接進 AI Gateway,與公開模型使用同一組介面、驗證和紀錄。團隊不必只因模型放在自己管理的環境,就另外維護一套呼叫方式。

看到「Private」時,容易把它理解成資料完全留在企業網路,或所有請求都不保留。但這次功能的重點是模型只對 Vercel 團隊可見,以及把私人端點納入共同管理,資料路徑仍要依設定確認。

Vercel 在 2026 年 11 月 16 日的官方公告,列出微調、自架和尚未公開模型三種使用情境。開發者可以使用 private/ 識別模型,讓既有應用程式和程式代理透過 Gateway 呼叫。

這對已經混用公開模型與內部模型的團隊有實際用途。統一流量紀錄能減少排錯時的切換,但若私人端點失敗後改呼叫公開模型,備援設定也可能改變資料送達的地方。

已有自管模型服務、又希望沿用 Gateway 工具的團隊,可以先挑非敏感任務驗證。若要求所有推論只走既定內部端點,就應先關閉或限制公開模型備援,再確認端點和平台的資料條件。

判斷值不值得接入,得從模型端點、團隊可見性與請求實際經過的路徑開始。

Vercel Private Inference 接進的是什麼?

Private Inference 把既有模型服務接進閘道,並不替團隊建立或代管模型本身。模型端點是接受程式請求、回傳模型結果的服務網址,而 AI Gateway 負責讓應用程式以共同方式呼叫不同服務。

依 Vercel 官方更新,企業原本使用微調、自架或未公開模型,往往要另寫客戶端、管理金鑰與整理紀錄。這次讓它們接進同一套驗證、介面與流量觀察方式。

微調是用特定資料進一步調整模型,自架則是自行安排模型運行的設備與服務。兩者都可能需要公司自己的端點,但把端點接進 Gateway,不會把原本的模型維運責任一起轉交給 Vercel。

Private 和內網是同一件事嗎?

不是同一個條件。依 官方 Private Inference 文件,端點必須是公開網路可連到的 HTTPS 網址,不能指向私人、回送或連結本地位址,也不能把憑證直接放進網址。

因此這裡的私人範圍,主要指模型歸屬 Vercel 團隊,不出現在公開模型目錄,只有該團隊驗證過的請求能解析使用。它不代表 Gateway 能直接連上公司內網裡任何未對外開放的模型服務。

這項差異會影響導入順序。若端點只允許內網連線,團隊應先評估能否提供符合條件的安全入口,而不是登錄模型後才發現 Gateway 根本到不了服務。

它也與自帶金鑰不同。自帶金鑰是替 Gateway 已支援的供應商提供自己的憑證,Private Inference 則把 Gateway 原本不知道的端點與模型加進來,解決的是另一種整合需求。

模型服務的責任分清後,接下來才是把端點和呼叫格式連起來。

Vercel Private Inference 公告圖,右側列出私人供應者與 private 模型名稱
Vercel 官方以私人供應者與模型清單介紹 AI Gateway 的 Private Inference 整合。 圖片來源:官方原文。
Vercel AI Gateway 新增 Private Inference官方示範影片。 來源:官方原始貼文。

如何接入端點,讓程式代理呼叫私人模型?

接入時先登錄供應者端點,再建立團隊內使用的模型名稱。供應者定義連去哪裡、用什麼格式與憑證,模型項目則指定該服務實際提供哪個模型,兩層不能混成同一個名稱。

官方操作從 AI Gateway 的 Private Inference 頁面開始,加入供應者時填寫名稱、識別名稱、連線格式、基本網址與金鑰。儲存成功只代表設定被建立,不代表已經測試連線可用。

為什麼 API 格式要選對?

API 是讓程式交換請求與結果的介面,不同格式可能對欄位、推理設定和回傳方式有不同要求。Gateway 會把請求轉成端點接受的格式,但前提是選擇與該端點實作相符的連線類型。

文件列出的格式包括 OpenAI Chat Completions、OpenAI Responses、Open Responses 與 Anthropic Messages。

兩種 Responses 格式名稱相近,請求規則仍有差異,因此不能只看路徑都叫 responses 就任意選用。

模型類型也有邊界。文件說明,語言、向量與圖片模型可由對應的 Chat Completions 格式處理,其他列出的格式限定語言模型,所以不能把文字範例直接當成所有模態都可使用。

加入模型後,應用程式用 private/ 加上團隊設定的模型識別名稱呼叫。這有助於把程式裡的模型選擇統一起來,但上游端點實際使用的模型名稱仍需另外填對。

官方也提供自動探索端點模型清單的方式,但前提是端點有提供模型列表。若沒有,就逐項新增,不能把探索不到模型誤認成服務完全不支援。

偏好命令列管理的團隊,可以使用公告列出的 Vercel CLI 65.16.0 或更新版本。無論從介面還是命令列新增,都應送一個非敏感測試請求,確認模型格式、金鑰與回傳內容正常。

截至 2026 年 11 月 18 日查詢,文件列出每團隊最多二十五個私人供應者和一百個私人模型。規劃大量客製部署時要先核對上限,而不只是替每個部門建立新名稱。

呼叫方式統一了,仍要回頭確認可見範圍和紀錄保存是否符合資料要求。

私人可見性、金鑰與零資料保留怎麼分?

團隊可見性限制誰能呼叫模型,金鑰加密與資料保留則處理不同風險。私人模型只對所屬團隊的驗證請求有效,不出現在未登入的公開模型清單,這是模型存取範圍。

官方文件說明,端點金鑰加密保存,儲存後只顯示末四碼。這有助於減少直接從設定畫面看到完整金鑰的情況,但團隊仍要安排金鑰輪替、撤銷與服務失敗處理。

零資料保留開關代表端點自動刪除資料嗎?

不能這樣理解。新增供應者時,官方要求只有在自己的端點確實不保留請求資料時,才啟用 Zero Data Retention,也就是零資料保留。它是對端點行為的聲明,不會替上游服務修改保存機制。

如果端點仍把完整提示詞寫進日誌,勾選開關也不會讓那些日誌消失。因此模型服務管理者要先確認實際紀錄、除錯和保存設定,再把這個條件提供給 Gateway。

Gateway 本身的觀察功能也需要納入資料盤點。公告提到私人模型請求可以和公開模型一起出現在紀錄、追蹤輸出與自訂報告中,這讓排錯更集中,也意味著管理者要理解哪些資訊會被記下來。

對資料要求嚴格的團隊,應分別列出應用程式、Gateway、私人端點與模型服務保存什麼。某個供應者不留請求,不會自動回答其他環節的紀錄保留方式。

管理權限也不是每位成員完全相同。官方文件列出,團隊成員可查看私人供應者與模型,建立、修改或刪除設定則需要 Member 或 Owner 角色,啟用保留聲明也依相關角色控制。

因此試行除了測「正確團隊能呼叫」,也應測另一個未獲授權的測試身分是否被拒絕。可見性與呼叫結果都符合預期,才有依據把更多內部模型接進來。

這些條件在正常路徑成立還不夠,端點失敗時的備援也得沿用相同資料界線。

備援與費用,為何要一起驗收?

私人端點失敗後的可用性,取決於是否設定備援,以及團隊能接受請求轉到哪個模型。備援是主要模型失敗時改由其他模型接手,它能提高可用性,也可能改變資料流向與費用來源。

官方允許把公開目錄模型加入備援鏈,但這不是所有企業都能直接採用的選項。如果提示詞含只能交給私人服務的資料,就需要先決定是否允許失敗後轉送,而不能只以免手續費為目標設定。

私人端點的推論費由誰收?

模型仍在團隊自己的端點執行,因此上游運算費由團隊與服務供應商結算。Vercel 文件指出,觀察畫面只呈現 Vercel 收取的費用,不會把私人端點的推論支出自動加進來。

這表示畫面裡某個私人模型沒有推論費數字,不等於它免費運算。團隊需要把自架設備或供應商帳單與 Gateway 用量對起來,才看得到完整成本。

依 2026 年 11 月 18 日查詢的牌價,沒有 Vercel 提供的備援時,私人模型成功處理的請求,每一千次收取 0.20 美元 Gateway 費用。失敗請求不收這項費,另有企業客製費率的可能。

若模型鏈包含可使用 Vercel 金鑰的目錄備援,而且 Fallback to Vercel Keys 開啟,私人模型請求不另收這項費。但真的轉到公開模型執行時,仍依該模型的用量計費,不能把它理解成備援推論免費。

文件也說明,關閉 Fallback to Vercel Keys 後,私人模型請求仍會收取上述費用,即使鏈裡寫了目錄模型。因此比較帳單時,應同時保存備援鏈與金鑰設定,而不是只看主模型名稱。

以會收取這項請求費的一百萬次成功請求估算,牌價對應二百美元,尚未包含上游模型運算。這個試算只說明計價單位,實際帳單仍取決於哪些請求符合費用條件,以及企業是否另有約定。

對有敏感資料限制的團隊,支付請求費也可能是保留指定路由的合理選擇。是否省下這筆費用,應與資料能否轉到公開模型一起判斷,不能讓備援鏈只由帳單優惠決定。

怎麼測出失敗路徑?

試行可以用非敏感內容,分別確認正常回應、端點錯誤、限流與不允許的身分。這是驗收建議,重點是對回最後由哪個模型服務,而不是只看到程式收到答案就當成私人模型成功。

官方另要求已購買 AI Gateway Credits 且餘額為正,私人模型請求才可使用。因此即使自架服務正常,也要把平台額度列入故障排查,避免把帳號條件誤診為模型服務失效。

把錯誤路徑和帳單一起測,才有條件評估統一閘道省下多少維護工作。

Vercel Private Inference 常見問題

可以直接連公司內網的模型網址嗎?

這次文件要求公開可達的 HTTPS 端點,並排除私人與回送位址。Private 描述的是團隊範圍與模型目錄可見性,不是對任意內網模型提供穿透連線。

零資料保留是 Vercel 替我刪掉上游紀錄嗎?

不是。只有端點本身確實不保留資料時,管理者才應啟用該聲明。上游服務的記錄行為與其他平台環節的資料保留,仍要各自確認。

加上公開模型備援就完全沒有額外成本嗎?

符合金鑰與備援條件時,私人請求不另收特定 Gateway 請求費,但自架端點成本仍存在。若公開模型真的接手,也會依它的模型用量收費,不能只看其中一項費用。

這和 OpenAI 的 Private Intelligence 相同嗎?

這篇談的是 Vercel 把企業模型端點接進 AI Gateway 的功能。其他公司的隱私產品有各自的資料處理與執行設計,不能因名稱包含 Private 就當成同一種技術或保證。

先接一個非敏感端點,確認路由後再擴大

適合先試的是已經運行的私人模型,讓變動集中在閘道整合。當團隊本來就混用內部與公開模型,統一驗證和流量紀錄能減少整合工作,但端點安全與模型維運仍需要自己安排。

如果主要目標是資料只能經過指定服務,則先定義可用的路由與備援,再討論是否節省請求費。讓資料條件決定設定,會比先開所有備援、事後才追查資料流向更容易管理。

完成成功、拒絕、失敗備援和用量核對,再決定是否移轉正式流量。開始前可先對照官方文件檢查端點格式、平台額度與保留聲明,讓私人模型整合的便利建立在可驗證的條件上。

延伸閱讀:Hugging Face 整合 OpenRouter:同一把金鑰背後,路由、帳單與資料流向改了什麼?

延伸閱讀:OpenAI Private Intelligence 完整解析:ZDR、Private Safety Processing 與 Private Inference 差在哪?

資料來源

Read more