Judgment MCP Observability 上線:工具失敗怎麼追,先看意圖、會話與資料擷取限制
Judgment Labs於2026年11月18日推出MCP Observability。解析工具呼叫追蹤、助理自報意圖與模型、會話識別、預設內容擷取與資料清除限制,協助開發者判斷如何小範圍導入及驗證除錯流程。
MCP Observability 要處理的,是 AI 助理呼叫工具失敗後難以追查的問題。單筆錯誤通常只說哪裡壞了,卻不一定知道它原本想完成什麼、失敗後又做了哪些嘗試。
Judgment Labs 在 2026 年 11 月 18 日推出 MCP Observability,讓經營 MCP 伺服器的團隊把工具呼叫與同一段對話串起來追蹤。
MCP 是讓 AI 助理連接外部工具的共同介面;這次新增的是觀察工具使用過程的能力,並非替助理新增交易、搜尋或其他業務工具。
不過畫面上能顯示意圖,不代表系統讀懂了模型內心:官方文件說明,意圖與模型名稱來自助理提供的欄位,模型身分也沒有經過驗證。
我認為這項功能適合已維運 MCP、卻難以重現使用者問題的團隊;第一步應先把會話識別與擷取範圍設好,再談錯誤分析,避免為了追問題收進過多資料。
要做到這點,先分清楚追蹤能記錄什麼、哪些內容預設不記,以及一段對話為何可能被拆成多個會話。
Judgment MCP Observability 記錄什麼,和一般錯誤紀錄差在哪?
它把工具執行變成可追蹤的紀錄,再把同一段對話的呼叫放在一起,讓團隊能追查任務怎麼走到失敗。
官方發布貼文提出的問題很具體:工具說明與錯誤訊息寫好之後,開發者仍可能不知道助理為何用錯工具,又如何從失敗繼續工作。這次產品把觀察範圍從單次錯誤延伸到對話中的連續操作。
在追蹤系統裡,一次較完整的工作紀錄稱為 trace,其中一段執行稱為 span。這個整合把每次 MCP 工具執行記成一段,讓維護者可以打開它,查看工具名稱、時間與結果。
如果工具內部還有已經加入追蹤的步驟,它們會成為下層紀錄。例如一個工具先讀取資料、再整理結果,內部步驟若有各自記錄,就能幫忙分辨等待發生在哪裡。
但 MCP 整合不會自動替所有資料庫與其他程式庫加入追蹤。所以,看到某個工具耗時很久,不代表畫面必然能細分出每一次資料庫查詢,內部仍需對應的記錄安排。
這對維運的改變,是可以從某個失敗接回上下文。單看錯誤知道查詢失敗,接到對話後則能進一步看助理前面找了什麼、之後有沒有再試,兩種資訊支援的問題分析不同。
官方示範影片也呈現工具總覽、失敗分類與恢復過程。不過畫面上的數值是產品展示,不能拿來當所有使用者的錯誤率,或說這項功能已讓工具成功率提高多少。
因此,新功能的直接用途是增加可追查線索。團隊仍要從追蹤紀錄找到值得修正的具體步驟,再驗證模型回答與工具業務邏輯,才能知道問題是否改善。
能看到更多線索之後,仍須分清哪些欄位是實際執行資訊,哪些只是助理自報。

Introducing MCP Observability
— Judgment Labs (@JudgmentLabs) November 18, 2026
When you build an MCP, you write tool descriptions and error messages and hope agents use them well. When they don't, your logs show the error, but not what the agent was trying to do or what it did next.
Now you can follow every agent session on… pic.twitter.com/75B6Mb0n20
意圖與模型身分從哪來,為什麼不能當成驗證結果?
意圖與模型名稱來自助理回傳的欄位,Judgment 不會自行推理出這些內容,也沒有驗證助理自報的模型身分。
官方整合文件說明,用來替伺服器加入追蹤的軟體開發套件(SDK),預設會在相容工具的輸入結構加入意圖與模型名稱欄位,讓呼叫的助理提供資訊。這些欄位是在請助理說明,不是系統直接讀出它的內部狀態。
意圖可以幫助理解為何呼叫某項工具,例如助理說自己要找出某份表格的欄位,再執行查詢。這個描述適合當調查線索,但仍應對照實際參數與結果,不能單靠它證明助理真的完成原目的。
模型名稱也有相同界線。官方直接標示這是助理自報、未經驗證的值,所以不能拿它當安全身分或認證憑證,也不能只據此斷定某家模型必然造成某次問題。
欄位在結構中被標示為必要,不代表缺少時一定拒絕執行。文件說,即使呼叫沒有附上這些新增欄位,SDK 仍會執行並追蹤,因此分析時也要接受有些紀錄沒有完整意圖。
SDK 新增的欄位會在真正業務處理函式執行前移除。這讓追蹤資訊與原本工具參數分開,但如果工具原來就有同名欄位,系統不會直接把它改成追蹤欄位,須明確設定要沿用哪一項。
對既有工具而言,這種安排很重要。原本的 intent 可能有自己的業務意義,若維護者沒有先看結構就改用途,容易讓分析紀錄與實際工作說的是不同事情。
所以我會先檢查工具結構與一筆真實測試呼叫,再決定是否加入這些欄位。資料來源能被說清楚,後面按模型或意圖整理問題時,才不會把自報內容當成獨立證明。
因此資料可用性取決於欄位是否存在與對話識別是否穩定,接著要處理會話分組。
同一段對話為什麼被拆開,會話識別該怎麼設?
如果應用本身知道對話識別碼,優先使用應用提供的會話識別,通常比依賴助理每次重複回傳更可靠。
會話就是把相關呼叫放在一起的一個識別。若同一個人連續問三次問題,每次工具執行卻使用不同識別碼,維護者看到的就可能是三段分離工作,失去前後關係。
文件列出的優先來源包括應用程式回傳的識別碼、請求範圍中的追蹤資訊,以及明確選用的既有對話欄位。應用知道對話屬於誰時,就不必完全依賴模型每次都記得重複同一碼。
之後才是助理回傳的對話識別、系統為此次呼叫產生的識別,以及可取得時的傳輸會話。這個順序解釋了為什麼同一套工具,在不同客戶端可能出現不同分組結果。
當系統產生新識別時,工具結果會附上要助理在後續呼叫沿用的說明。如果助理沒有照做,符合條件的下一次呼叫可能又取得新碼,畫面就會拆成不同會話。
第一次呼叫若直接拋出錯誤,也可能沒有結果可以把說明交回去。因此一個失敗開頭與後續成功,看起來分在兩段,不一定代表兩位使用者,可能只是識別沒有接上。
實際驗證可以先安排一個已知會失敗、接著修正的測試流程。確認兩次呼叫是否落在同一會話,比只看總呼叫數更容易發現分組不穩,這是建議方法,並非本站已部署的成果。
另外,客戶端回報的軟體名稱與版本,不等於登入者身分。它能協助比較不同客戶端行為,真正的帳號與授權仍要保留原本系統的處理,不能讓一個標籤變成存取憑證。
把呼叫串接好之後,再決定要擷取多少內容,才能兼顧問題重現與資料風險。
輸入輸出預設會上傳嗎,加入追蹤有哪些相容性限制?
官方預設不擷取輸入、輸出與錯誤文字,但助理提供的意圖仍會記錄,而且 SDK 不會自動清除敏感資料。
想重現錯誤,經常需要更多內容,但擷取越多,資料處理範圍也越大。官方預設關閉輸入、輸出與錯誤文字擷取,讓團隊先取得基本執行紀錄,再決定需要哪些內容。
這不代表完全不記文字。助理若透過新增或指定欄位提供意圖,意圖仍會被記錄。因此工具維護者要檢查助理會在意圖裡寫什麼,不能只看輸入擷取關閉就認定沒有敏感內容。
文件也明確說 SDK 不會自動清除敏感資料。輸入輸出可以用擷取前的轉換處理,意圖與失敗文字另有轉換選項,資料規則需要由開發者依工具內容設計。
例如業務工具可能處理客戶資料,調查時未必需要完整內容,只需要某項欄位是否缺失。團隊可以先決定保留哪些訊息,讓問題仍可判讀,而不是先全部收集後才想辦法清除。
相容性也要注意。加入助理參數會改變工具結構與結果,即使追蹤輸出關閉也仍然會改,並增加進入模型上下文的文字,所以不能把它視為完全透明、毫無影響的開關。
若嚴格的客戶端快取舊結構,更新後可能拒絕新結果。官方建議刷新工具清單,並讓部署中的不同副本維持相容結構,這與單純調整提示內容是不同工作。
原有的傳輸與驗證配置則應保留。這次整合是加上執行觀察,不是替換帳號登入或網路連接方式;已有追蹤的工具,也應避免把同一次執行重複記成兩份。
資料政策與結構相容性都確認後,才適合把追蹤結果用在日常維運。
開發者應該怎麼導入,怎樣確認真的有幫助?
我會先在測試環境用一個工具和已知失敗流程驗證,再逐步開放需要的擷取欄位。
開始前要先符合版本與伺服器條件。官方列出 Python 的 judgeval 至少一點九版,TypeScript 至少一點八點一版,並支援各自對應的 MCP 伺服器程式庫,不能只複製範例而忽略原本環境。
接著先初始化追蹤,再讓伺服器開始接請求。若程式結束前資料還沒送出,畫面可能看不到原本已執行的工具,所以檢查紀錄時也要把啟動與結束流程放進來。
第一輪可以只測一個工具,核對伺服器名稱、工具名稱、耗時、結果與會話識別。當這些資訊能接回測試動作,再進一步觀察工具內已經加入追蹤的步驟。
第二輪再測失敗流程。工具框架可能先把例外轉成工具錯誤結果,影響畫面看到的分類,因此應對照實際錯誤,而不是只根據同一個錯誤類型標籤推論根因。
第三輪才考慮開啟必要內容擷取,並檢查轉換規則。這個順序讓團隊先知道基本紀錄能回答哪些問題,再補缺口,比一開始收進全部資料更容易界定用途。
維運時也可以把相同故障前後的紀錄保留下來,比較修正後是否仍出現相同錯誤與重試路徑。追蹤的成效應由定位問題與修正結果來看,而不是單看儀表板有多少圖表。
我認為最適合先導入的,是已經有工具使用量、卻常因缺上下文而難以重現問題的團隊。若目前工具本身沒有清楚定義輸入與錯誤處理,先改善這些契約,往往比增加紀錄更有幫助。
這項新功能的價值在縮短定位問題的路徑,而不是替團隊自動保證資料正確或模型可靠。
常見問題(FAQ)
MCP Observability 會自動知道模型真正的想法嗎?
不會。意圖與模型名稱來自助理提供的欄位,模型名稱也未驗證。它們可以幫助調查,但不能當成讀取模型內部狀態或認證身分的證據。
輸入輸出關閉,是否完全沒有文字被記錄?
不是。助理提供的意圖仍可能記錄,SDK 也不會自動清除敏感資料。應依工具內容決定擷取與轉換規則,不能只靠預設開關判斷。
同一段對話分成多個會話,是產品一定出錯嗎?
不一定。助理沒有沿用識別碼、第一筆呼叫失敗或缺少傳輸識別,都可能影響分組。若應用本身知道對話識別,應優先用它接起工作。
結語
Judgment 的新功能讓工具錯誤能接回意圖與前後操作,但紀錄品質仍取決於欄位來源、會話分組與擷取設定。理解這些條件,比只看失敗率更接近真正的除錯工作。
我會先驗證一個可重現的失敗流程,再逐步擴大追蹤。當團隊能從紀錄找到下一步修正,而不是只得到更多資料,這套觀察能力才有實際價值。
延伸閱讀:MCP Inspector 是什麼?官方開源 1.1 萬星視覺化除錯工具,寫完 MCP 伺服器不必再盲測
延伸閱讀:FastMCP 是什麼?累積近 2.9 萬星的 Python 開源框架,用最簡潔語法打造 MCP 伺服器