Salesforce Agent Fabric 新增代理評估：AI 回答出錯、費用失控時怎麼處理？
Salesforce Agent Fabric 新增 Agent Evals、API Evals 與 AI 成本控制；了解測試版時程、人工介入與 token 節省限制。
Salesforce 宣布擴充 Agent Fabric，讓企業能評估 AI 代理的表現，並把品質問題與成本控制放進同一個管理流程。
AI 代理上線後，即使沒有出現明顯錯誤訊息，也可能開始提供不正確的答案。另一方面，反覆呼叫模型與工具也可能讓帳單不斷增加。
這兩種問題往往由不同團隊處理。客服主管注意到回答品質下降，財務人員則從帳單發現費用升高，但他們不一定知道哪個代理正在產生問題。
Salesforce 在 2026 年 10 月 27 日宣布 Agent Evals、API Evals 和成本控制等功能，希望把評估、預算與預先設定的介入措施串接起來。
依照官方說明，部分費用管理功能已正式提供，而兩項評估功能預計 2026 年 11 月進入測試版，2027 年 1 月正式提供。這些日期是公司公布的規畫，實際可用時間與條件仍要以後續公告為準。
這次消息也提醒企業，AI 代理不只需要「能完成工作」。部署後，團隊還要確認它是否持續回答正確、使用合適的工具，以及問題出現時誰有權處理。
以下整理官方功能與限制，並說明企業可以如何準備測試。文中提到的效益屬於公司說明或情境示例，並非本文獨立實測結果。
Salesforce Agent Fabric 是什麼？為什麼需要持續評估
Agent Fabric 是 Salesforce 提供的 AI 代理管理與治理平台。官方將它定位為跨平台的控制層，協助企業掌握不同環境中的代理、模型與相關工具。
一家企業可能同時使用客服代理、內部文件搜尋代理，以及開發團隊自行建立的工作流程。它們各自接觸不同資料，也可能依賴不同模型或外部服務。
上線前完成一次測試，並不代表之後的回答會永遠一致。模型可能更新，外部 API 可能改版，公司的退貨政策或商品資料也可能改變。任何一項變化都可能讓原本合理的回答開始出錯。
所以，企業需要先知道自己有哪些代理、誰負責維護，以及發生問題時應該通知誰。接著還要定期檢查實際工作是否符合原本訂下的品質與安全要求。
Salesforce 這次宣布的重點，是把代理評估的結果連到預先設定的措施。依公司說法，團隊可以根據政策選擇通知負責人，或在適當情況下限制代理。若政策規定需要人工批准，仍須先取得批准。
這不等於產品能自動發現所有錯誤，也不能把所有業務判斷都交給模型。評估題目、品質門檻、通知對象和介入方式，仍需要由組織設計並檢驗。
延伸閱讀：Sakana Aquarium 發表：企業 AI 代理如何理解資料、等待核准並留下紀錄？
As enterprises scale AI, agents can fail silently, delivering wrong answers and racking up costs before anyone notices.
— Salesforce News & Insights (@SalesforceNews) October 27, 2026
Today, Salesforce announced Agent Evals, API Evals, and advanced cost controls for Agent Fabric, its AI control plane for managing and governing agents across… pic.twitter.com/X10B7Z0yjg
Agent Evals 評估什麼？從上線前測試到持續檢查
Salesforce 表示，Agent Evals 可以在代理部署前自動產生測試，並在正式運作期間依設定的品質門檻評估代理、語言模型及 MCP 伺服器。
MCP 是讓 AI 應用程式連接外部工具與資料的一種協定。對企業而言，代理能否給出正確答案，不只取決於模型，也取決於它選了什麼工具、取得什麼資料，以及這些工具是否按照預期運作。
例如一個訂單查詢代理要回答「包裹什麼時候到」，測試不能只看句子是否流暢。團隊還要檢查代理有沒有查到正確訂單、是否使用最新物流資訊，以及資料不足時是否清楚告知使用者。
如果評估結果低於事先設定的門檻，平台可以啟動預定的介入流程。官方列出的措施包括 Agent Kill Switch，也就是用來停止或限制代理的控制機制。
但要特別區分功能時間。官方說既有 Agent Kill Switch 在公告時已正式提供，由評估觸發的版本則預計 2027 年 1 月正式提供。Agent Evals 本身預計 2026 年 11 月先進入測試版。
這些時程不代表每個客戶在同一天都能使用相同設定。企業仍應向 Salesforce 確認帳戶、方案、可用地區和正式文件，並查看功能實際支援哪些代理與環境。
官方的零售情境：發現錯誤後先請人批准
Salesforce 提供一個零售情境，說明成本和品質如何互相影響。假設公司為了降低費用，把訂單客服代理切換到較便宜的模型。
切換後，排程測試發現代理對延遲訂單提供了不正確的資訊。由於這家企業希望保留人工判斷，系統先提出隔離代理的批准請求，而不是在範例中直接跳過人員決策。
取得批准並隔離後，團隊修改代理處理延遲訂單的指示，再用新的指示與較便宜的模型重新評估。確認表現符合要求後，才讓代理回到正式服務。
這是一個官方提出的示例，不應寫成已經公開證實的客戶實驗。它的實用價值在於提醒團隊：降低模型成本時，也要持續量測服務品質，並事先決定誰有權批准隔離與恢復。
API Evals 為什麼也重要？代理依賴的介面可能改變
AI 代理通常不只生成文字，還會透過 API 呼叫庫存、付款、日曆或企業資料系統。API 可以理解為系統之間交換資料與發出請求的介面。
如果介面改變了欄位名稱、要求不同格式，或回傳速度突然變慢，代理即使選對工具，最後仍可能無法完成任務。使用者看到的錯誤，可能來自模型之外的環節。
Salesforce 說，API Evals 可以依 API 規格自動產生功能與效能測試，協助在變更進入正式環境前發現破壞相容性的問題。這項功能也預計 2026 年 11 月進入測試版、2027 年 1 月正式提供。
自動產生測試能減輕整理測試案例的工作，但團隊仍應檢查規格是否完整，以及測試是否涵蓋重要業務條件。若原始規格缺少一個實際會遇到的例外，自動測試也可能漏掉它。
一個可行的起點，是先列出代理最常呼叫的服務和每個服務的負責人。接著確認什麼樣的資料格式、回應時間與錯誤訊息可以接受，再把重大變更納入既有發布流程。
AI 代理成本怎麼管？儀表板、預算與回應最佳化
Salesforce 也介紹 FinOps Dashboard、Model Wallet 與 Cost Optimization Policies。官方將這些工具用於集中查看 AI 費用、設定支出界線，以及減少不必要的 token 使用量。
Token 是模型處理文字等資料時使用的計量單位。輸入的內容越長、輸出的回答越多，或代理反覆呼叫模型，費用就可能增加。不同供應商的計價方式不同，因此不能只看呼叫次數。
官方表示，FinOps Dashboard 與 Model Wallet 能讓預算負責人查看支出，並設定硬性限制，在超出預算前停止請求。這能協助限制支出，但也可能讓正在執行的服務因額度不足而中斷。
設計預算時，企業應先區分測試與正式服務，再安排接近額度時的通知對象與處理方式。例如客服代理若被停止，使用者是否能轉接人工？團隊能否及時調整額度？這些流程應在啟用前討論。
官方也提到三種降低用量的方法：語意快取、資料內容壓縮，以及修剪回應。語意快取是嘗試重用相近請求的結果，但使用前要確認資料是否仍然有效，以及不同使用者是否適合看到相同內容。
壓縮和修剪可能減少傳給模型或返回的資料量。不過它們是否合適，取決於任務是否仍保留必要細節。處理訂單條件、合約條款或客服紀錄時，省略的內容可能正是決策所需的資訊。
官方「最高減少 75%」適用哪些情況？
Salesforce 宣稱，成本最佳化政策在其測試情境中，最多可減少 75% 的 token 使用量。這是特定情境下的最高值，不是每家公司、每次呼叫都能達到的保證。
評估效果時，應把節省的用量和回答品質一起記錄。若快取讓使用者拿到過期的配送資訊，或修剪讓系統漏掉重要限制，即使帳單降低，也可能增加客服與補救成本。
所以比較時最好保留同一批測試題、資料版本與評分方式，分別量測啟用前後的用量、正確率和人工修正時間。這比直接引用單一宣傳數字，更能反映企業自己的使用狀況。
延伸閱讀：Composio Firewall 上線：AI 代理執行前與讀取後的檢查，能擋住哪些風險？
跨平台代理與 API 閘道如何納入管理？
當企業內有不同團隊建立的代理，第一個問題可能是管理者根本不知道它們存在。官方表示，Custom Agent Scanner 可讓企業自行建立掃描器，探索內部環境、防火牆後方系統和部分第三方平台。
掃描器找到的代理、模型、MCP 伺服器及 API，可整理到 Agent Registry。因此這能協助建立資產清單，但實際可發現什麼仍取決於掃描器的設計、連線條件與授予的權限，不能保證找出所有系統。
Salesforce 將 Custom Agent Scanner 列為公告當日測試版，預計 2027 年 1 月正式提供。公司還需要確認哪些系統允許掃描、如何保護登入憑證，以及誰可以修改登記內容。
另一項更新是 Open Policies for Federated API Gateways。官方表示，企業可以跨 Azure、Apigee 與 Kong 等 API 閘道探索、套用及追蹤政策，例如 IP 允許清單或請求速率限制。
這項功能公告時已正式提供。跨閘道套用政策可能減少逐個設定的工作，但若政策定義錯誤，也可能同時影響多個服務。導入前仍應先在測試環境確認適用範圍與回復方式。
企業該怎麼規劃 AI 代理治理試點？
第一步是盤點代理。記錄每個代理的用途、負責人、所用模型、可連接的工具，以及它能讀取或修改哪些資料。若代理背後還有第三方服務，也應一併列出。
第二步是定義哪些結果算正確。客服代理可以測試訂單識別與回覆內容，內部搜尋代理則要檢查資料是否最新，以及不同部門是否只能看到獲授權的文件。
第三步是訂出介入門檻與授權流程。當回答品質下降、API 測試失敗或預算接近上限時，團隊應知道要通知誰、是否需要人批准隔離，以及怎麼確認問題已經修復。
第四步是建立不影響正式服務的試點。先用測試帳號、非敏感資料和有限額度觀察系統，再逐步導入真實工作。若使用生產資料評估，也要依公司政策處理個資與存取權限。
第五步是測試回復。代理被隔離後，原本的使用者會看到什麼？人工能否接手？修改後用哪些測試確認可以恢復？這些問題沒有預先回答，停用功能就可能只解決一半問題。
最後，將品質、費用與人工負擔一起檢討。降低支出有吸引力，但如果人工需要反覆修正或使用者更常得到錯誤答案，團隊應重新評估模型選擇與門檻，而不是只追求較低的帳單。
Salesforce 的公告提供了一組工具與未來發布計畫，並沒有證明所有企業都能得到相同成效。真正的驗收依據，仍是組織自己的任務、測試資料和可追蹤的結果。
因此，每次調整模型或預算政策後，也應留下設定版本和負責人的紀錄，讓後續團隊能查明結果變化來自哪一項調整。接著可查看本文延伸閱讀，準備一個範圍明確的試點。
常見問題
Agent Fabric 的 Agent Evals 現在已經正式提供了嗎？
Salesforce 預計 2026 年 11 月推出測試版，2027 年 1 月正式提供。這是公告時的計畫，後續請以官方更新及帳戶條件為準。
品質下降時，代理一定會被自動停用嗎？
不一定。官方說可以依預定政策啟動介入措施，若組織政策要求人工批准，仍要先完成批准。
官方說的 75% 是每個客戶都能節省的費用嗎？
不是。公司描述的是特定測試情境中最多減少 75% 的 token 使用量，不能直接等同每個客戶的費用節省比例。
API Evals 能保證代理不會因外部服務故障而出錯嗎？
不能。它協助依規格產生功能和效能測試，是否涵蓋所有情境仍取決於規格與測試設計。
