Judgment MCP Observability 上線:工具失敗怎麼追,先看意圖、會話與資料擷取限制

Judgment Labs於2026年11月18日推出MCP Observability。解析工具呼叫追蹤、助理自報意圖與模型、會話識別、預設內容擷取與資料清除限制,協助開發者判斷如何小範圍導入及驗證除錯流程。

Share
Judgment 工具追蹤介面呈現呼叫數、延遲與 SQL 錯誤恢復比例
Judgment 官方 MCP Observability 示範影片第 18 秒畫格,展示 sql_query 工具的呼叫、延遲與失敗恢復資訊。畫面數值是產品示範,並非本站驗證的效能或恢復率。 圖片來源:官方原文。

MCP Observability 要處理的,是 AI 助理呼叫工具失敗後難以追查的問題。單筆錯誤通常只說哪裡壞了,卻不一定知道它原本想完成什麼、失敗後又做了哪些嘗試。

Judgment Labs 在 2026 年 11 月 18 日推出 MCP Observability,讓經營 MCP 伺服器的團隊把工具呼叫與同一段對話串起來追蹤。

MCP 是讓 AI 助理連接外部工具的共同介面;這次新增的是觀察工具使用過程的能力,並非替助理新增交易、搜尋或其他業務工具。

不過畫面上能顯示意圖,不代表系統讀懂了模型內心:官方文件說明,意圖與模型名稱來自助理提供的欄位,模型身分也沒有經過驗證。

我認為這項功能適合已維運 MCP、卻難以重現使用者問題的團隊;第一步應先把會話識別與擷取範圍設好,再談錯誤分析,避免為了追問題收進過多資料。

要做到這點,先分清楚追蹤能記錄什麼、哪些內容預設不記,以及一段對話為何可能被拆成多個會話。

Judgment MCP Observability 記錄什麼,和一般錯誤紀錄差在哪?

它把工具執行變成可追蹤的紀錄,再把同一段對話的呼叫放在一起,讓團隊能追查任務怎麼走到失敗。

官方發布貼文提出的問題很具體:工具說明與錯誤訊息寫好之後,開發者仍可能不知道助理為何用錯工具,又如何從失敗繼續工作。這次產品把觀察範圍從單次錯誤延伸到對話中的連續操作。

在追蹤系統裡,一次較完整的工作紀錄稱為 trace,其中一段執行稱為 span。這個整合把每次 MCP 工具執行記成一段,讓維護者可以打開它,查看工具名稱、時間與結果。

如果工具內部還有已經加入追蹤的步驟,它們會成為下層紀錄。例如一個工具先讀取資料、再整理結果,內部步驟若有各自記錄,就能幫忙分辨等待發生在哪裡。

但 MCP 整合不會自動替所有資料庫與其他程式庫加入追蹤。所以,看到某個工具耗時很久,不代表畫面必然能細分出每一次資料庫查詢,內部仍需對應的記錄安排。

這對維運的改變,是可以從某個失敗接回上下文。單看錯誤知道查詢失敗,接到對話後則能進一步看助理前面找了什麼、之後有沒有再試,兩種資訊支援的問題分析不同。

官方示範影片也呈現工具總覽、失敗分類與恢復過程。不過畫面上的數值是產品展示,不能拿來當所有使用者的錯誤率,或說這項功能已讓工具成功率提高多少。

因此,新功能的直接用途是增加可追查線索。團隊仍要從追蹤紀錄找到值得修正的具體步驟,再驗證模型回答與工具業務邏輯,才能知道問題是否改善。

能看到更多線索之後,仍須分清哪些欄位是實際執行資訊,哪些只是助理自報。

Judgment 工具追蹤介面呈現呼叫數、延遲與 SQL 錯誤恢復比例
Judgment 官方 MCP Observability 示範影片第 18 秒畫格,展示 sql_query 工具的呼叫、延遲與失敗恢復資訊。畫面數值是產品示範,並非本站驗證的效能或恢復率。 圖片來源:官方原文。
Judgment 官方示範影片呈現工具呼叫概覽、個別失敗與同一會話中失敗後再次嘗試的追蹤畫面。示範數值不代表本站實測。 來源:官方原始貼文。

意圖與模型身分從哪來,為什麼不能當成驗證結果?

意圖與模型名稱來自助理回傳的欄位,Judgment 不會自行推理出這些內容,也沒有驗證助理自報的模型身分。

官方整合文件說明,用來替伺服器加入追蹤的軟體開發套件(SDK),預設會在相容工具的輸入結構加入意圖與模型名稱欄位,讓呼叫的助理提供資訊。這些欄位是在請助理說明,不是系統直接讀出它的內部狀態。

意圖可以幫助理解為何呼叫某項工具,例如助理說自己要找出某份表格的欄位,再執行查詢。這個描述適合當調查線索,但仍應對照實際參數與結果,不能單靠它證明助理真的完成原目的。

模型名稱也有相同界線。官方直接標示這是助理自報、未經驗證的值,所以不能拿它當安全身分或認證憑證,也不能只據此斷定某家模型必然造成某次問題。

欄位在結構中被標示為必要,不代表缺少時一定拒絕執行。文件說,即使呼叫沒有附上這些新增欄位,SDK 仍會執行並追蹤,因此分析時也要接受有些紀錄沒有完整意圖。

SDK 新增的欄位會在真正業務處理函式執行前移除。這讓追蹤資訊與原本工具參數分開,但如果工具原來就有同名欄位,系統不會直接把它改成追蹤欄位,須明確設定要沿用哪一項。

對既有工具而言,這種安排很重要。原本的 intent 可能有自己的業務意義,若維護者沒有先看結構就改用途,容易讓分析紀錄與實際工作說的是不同事情。

所以我會先檢查工具結構與一筆真實測試呼叫,再決定是否加入這些欄位。資料來源能被說清楚,後面按模型或意圖整理問題時,才不會把自報內容當成獨立證明。

因此資料可用性取決於欄位是否存在與對話識別是否穩定,接著要處理會話分組。

同一段對話為什麼被拆開,會話識別該怎麼設?

如果應用本身知道對話識別碼,優先使用應用提供的會話識別,通常比依賴助理每次重複回傳更可靠。

會話就是把相關呼叫放在一起的一個識別。若同一個人連續問三次問題,每次工具執行卻使用不同識別碼,維護者看到的就可能是三段分離工作,失去前後關係。

文件列出的優先來源包括應用程式回傳的識別碼、請求範圍中的追蹤資訊,以及明確選用的既有對話欄位。應用知道對話屬於誰時,就不必完全依賴模型每次都記得重複同一碼。

之後才是助理回傳的對話識別、系統為此次呼叫產生的識別,以及可取得時的傳輸會話。這個順序解釋了為什麼同一套工具,在不同客戶端可能出現不同分組結果。

當系統產生新識別時,工具結果會附上要助理在後續呼叫沿用的說明。如果助理沒有照做,符合條件的下一次呼叫可能又取得新碼,畫面就會拆成不同會話。

第一次呼叫若直接拋出錯誤,也可能沒有結果可以把說明交回去。因此一個失敗開頭與後續成功,看起來分在兩段,不一定代表兩位使用者,可能只是識別沒有接上。

實際驗證可以先安排一個已知會失敗、接著修正的測試流程。確認兩次呼叫是否落在同一會話,比只看總呼叫數更容易發現分組不穩,這是建議方法,並非本站已部署的成果。

另外,客戶端回報的軟體名稱與版本,不等於登入者身分。它能協助比較不同客戶端行為,真正的帳號與授權仍要保留原本系統的處理,不能讓一個標籤變成存取憑證。

把呼叫串接好之後,再決定要擷取多少內容,才能兼顧問題重現與資料風險。

輸入輸出預設會上傳嗎,加入追蹤有哪些相容性限制?

官方預設不擷取輸入、輸出與錯誤文字,但助理提供的意圖仍會記錄,而且 SDK 不會自動清除敏感資料。

想重現錯誤,經常需要更多內容,但擷取越多,資料處理範圍也越大。官方預設關閉輸入、輸出與錯誤文字擷取,讓團隊先取得基本執行紀錄,再決定需要哪些內容。

這不代表完全不記文字。助理若透過新增或指定欄位提供意圖,意圖仍會被記錄。因此工具維護者要檢查助理會在意圖裡寫什麼,不能只看輸入擷取關閉就認定沒有敏感內容。

文件也明確說 SDK 不會自動清除敏感資料。輸入輸出可以用擷取前的轉換處理,意圖與失敗文字另有轉換選項,資料規則需要由開發者依工具內容設計。

例如業務工具可能處理客戶資料,調查時未必需要完整內容,只需要某項欄位是否缺失。團隊可以先決定保留哪些訊息,讓問題仍可判讀,而不是先全部收集後才想辦法清除。

相容性也要注意。加入助理參數會改變工具結構與結果,即使追蹤輸出關閉也仍然會改,並增加進入模型上下文的文字,所以不能把它視為完全透明、毫無影響的開關。

若嚴格的客戶端快取舊結構,更新後可能拒絕新結果。官方建議刷新工具清單,並讓部署中的不同副本維持相容結構,這與單純調整提示內容是不同工作。

原有的傳輸與驗證配置則應保留。這次整合是加上執行觀察,不是替換帳號登入或網路連接方式;已有追蹤的工具,也應避免把同一次執行重複記成兩份。

資料政策與結構相容性都確認後,才適合把追蹤結果用在日常維運。

開發者應該怎麼導入,怎樣確認真的有幫助?

我會先在測試環境用一個工具和已知失敗流程驗證,再逐步開放需要的擷取欄位。

開始前要先符合版本與伺服器條件。官方列出 Python 的 judgeval 至少一點九版,TypeScript 至少一點八點一版,並支援各自對應的 MCP 伺服器程式庫,不能只複製範例而忽略原本環境。

接著先初始化追蹤,再讓伺服器開始接請求。若程式結束前資料還沒送出,畫面可能看不到原本已執行的工具,所以檢查紀錄時也要把啟動與結束流程放進來。

第一輪可以只測一個工具,核對伺服器名稱、工具名稱、耗時、結果與會話識別。當這些資訊能接回測試動作,再進一步觀察工具內已經加入追蹤的步驟。

第二輪再測失敗流程。工具框架可能先把例外轉成工具錯誤結果,影響畫面看到的分類,因此應對照實際錯誤,而不是只根據同一個錯誤類型標籤推論根因。

第三輪才考慮開啟必要內容擷取,並檢查轉換規則。這個順序讓團隊先知道基本紀錄能回答哪些問題,再補缺口,比一開始收進全部資料更容易界定用途。

維運時也可以把相同故障前後的紀錄保留下來,比較修正後是否仍出現相同錯誤與重試路徑。追蹤的成效應由定位問題與修正結果來看,而不是單看儀表板有多少圖表。

我認為最適合先導入的,是已經有工具使用量、卻常因缺上下文而難以重現問題的團隊。若目前工具本身沒有清楚定義輸入與錯誤處理,先改善這些契約,往往比增加紀錄更有幫助。

這項新功能的價值在縮短定位問題的路徑,而不是替團隊自動保證資料正確或模型可靠。

常見問題(FAQ)

MCP Observability 會自動知道模型真正的想法嗎?

不會。意圖與模型名稱來自助理提供的欄位,模型名稱也未驗證。它們可以幫助調查,但不能當成讀取模型內部狀態或認證身分的證據。

輸入輸出關閉,是否完全沒有文字被記錄?

不是。助理提供的意圖仍可能記錄,SDK 也不會自動清除敏感資料。應依工具內容決定擷取與轉換規則,不能只靠預設開關判斷。

同一段對話分成多個會話,是產品一定出錯嗎?

不一定。助理沒有沿用識別碼、第一筆呼叫失敗或缺少傳輸識別,都可能影響分組。若應用本身知道對話識別,應優先用它接起工作。

結語

Judgment 的新功能讓工具錯誤能接回意圖與前後操作,但紀錄品質仍取決於欄位來源、會話分組與擷取設定。理解這些條件,比只看失敗率更接近真正的除錯工作。

我會先驗證一個可重現的失敗流程,再逐步擴大追蹤。當團隊能從紀錄找到下一步修正,而不是只得到更多資料,這套觀察能力才有實際價值。

延伸閱讀:MCP Inspector 是什麼?官方開源 1.1 萬星視覺化除錯工具,寫完 MCP 伺服器不必再盲測

延伸閱讀:FastMCP 是什麼?累積近 2.9 萬星的 Python 開源框架,用最簡潔語法打造 MCP 伺服器

資料來源