LangSmith 新增程式代理 ROI 儀表板:每份已合併 PR 花多少,如何對回成果?

LangSmith 在2026年11月18日推出程式代理成果儀表板,將GitHub PR與GitLab MR連到對話。解析已合併成本、未歸因支出和公開測試版條件,避免把合併數量當成完整生產力。

Share
LangSmith官方圖卡顯示已合併PR成本與不同模型的時間成本圖
LangSmith 官方以每份已合併 PR 的成本與時間趨勢示範成果儀表板,圖中金額和數量屬展示畫面。 圖片來源:官方原文。

LangSmith 新儀表板想回答的問題,是程式代理花掉的用量最後變成什麼。只知道整個團隊用了多少詞元,仍難分清哪些支出產生已採用的修改,哪些留在調查與反覆嘗試。

過去能逐段追蹤代理對話,也不代表能直接算出一份成果的成本。同一個修改請求可能經過多段對話,一段對話也可能提出不只一項修改,簡單相加很容易把關係算錯。

LangChain 在 2026 年 11 月 18 日公布的程式代理儀表板,加入成果紀錄,把 GitHub 修改請求或 GitLab 合併請求接到相關對話,讓管理者從成果回查花費。

它也把未連到修改請求的支出分開列出。這點很重要,因為程式審查、問題調查與學習程式庫,都可能有價值,卻不會留下自己的修改請求,不能一律當成浪費。

混用多種程式代理的團隊,可以先選一個專案驗證歸因是否準確。若期待一個數字就能評斷工程師表現,這套資料仍不夠,因為修改被合併不是全部的品質與商業成果。

要把用量變成可討論的成本,得先弄清楚對話、修改請求與已合併成果之間如何連接。

LangSmith 如何把對話支出連到 PR 成果?

新的成果紀錄把工作對話接到修改請求,讓成本能從成果往回查。PR 是 GitHub 上提交修改、請他人審查的請求。GitLab 則使用 MR,也就是合併請求的稱呼。

這次儀表板討論的 ROI,可以先理解為投入與產出的關係:代理用了多少資源,最後留下哪些被採用的工作。

官方公告介紹的成果紀錄,會把相關對話連到這些請求。

這不只是替費用加上一個標籤,因為對話與成果不一定一對一。一段對話可能修好幾個地方,拆成多份請求。同一份請求也可能先後由不同對話調查、實作和修正。若只拿一次工作階段當一份成果,跨階段的成本便可能漏掉。

報表因此先讓讀者看花費落在哪種狀態:已開啟、已關閉或已合併。開啟代表工作仍待處理,關閉可能涉及放棄或改走其他方案,合併才表示修改已進入目標分支。

這些是程式協作流程的狀態,不能直接改稱為上線、使用者採用或創造營收。某份修改即使合併,也可能尚未部署,或部署後還需要回復。

當管理者看到每份已合併請求的成本上升,下一步應是沿著連結回到工作內容。這批修改是不是比較難?是否為了修正先前問題而增加測試?還是模型反覆嘗試相同方法?

同一個數字背後可能是任務組成改變,也可能是執行效率變差,只有檢視相關對話才能分辨。

官方封面上的每份已合併請求成本與合併件數,是介面展示資料。本文不把它當成所有客戶的平均值,也不推估台灣團隊應該達到同一個價格。

團隊的模型、程式庫、測試時間及工作大小不同,拿展示數值當預算標準,反而容易鼓勵把修改切得很碎。

比較合理的用途,是追蹤同一專案在類似任務下的變化。例如維持相同的合併條件,觀察一次技能調整之後,是否少了重複讀檔、修正與等待。若費用下降卻同時降低測試要求,帳面上較便宜不代表真正改善。

成本能對到成果之後,接著要確認哪些代理與使用入口真的被追蹤進來。

LangSmith官方圖卡顯示已合併PR成本與不同模型的時間成本圖
LangSmith 官方以每份已合併 PR 的成本與時間趨勢示範成果儀表板,圖中金額和數量屬展示畫面。 圖片來源:官方原文。
LangSmith 官方示範程式代理成本與成果儀表板,畫面數字不代表本站使用結果。 來源:官方原始貼文。

多種程式代理要怎麼放到同一份報表?

跨工具報表只涵蓋實際送進 LangSmith 的追蹤,不能把沒接入的工作當成零成本。

公告列出的工具包括 Claude Code、OpenAI Codex、Cursor、在 VS Code 裡的 GitHub Copilot,以及 Deep Agents。

這裡應保留入口名稱,不能把某個編輯器整合延伸成該品牌所有產品都已納入。

接入時,團隊先依使用的代理安裝對應整合,再檢查工作是否真的產生追蹤。追蹤可以理解為一份工作過程的紀錄,讓人從最後結果回看模型與工具做過什麼。

若有人仍在未接入的介面完成大部分工作,儀表板只會呈現剩餘的一部分。這時每份成果的成本看似很低,可能只是資料不完整。

官方入門流程也要求連接 GitHub,然後開啟程式代理概覽。雖然成果說明同時提及 GitLab 的 MR,本文沒有因此推論所有帳號都已具備完全相同的 GitLab 連接程序。

實際試行應依當下產品提供的入口與文件確認,不要讓報表中的名詞取代整合是否完成的檢查。

跨代理比較還需要共同的工作分類。調查錯誤、撰寫功能、審查修改與學習程式庫,產出的形式不同。

公告提供工作類型、技能使用及高成本請求等查看方向,管理者可以先把類似工作放在一起看,再回查特別昂貴或特別冗長的對話。這比把所有工具的總額排在同一張表,更容易看出可改善的原因。

「技能」在此指代理工作時會載入的一組指引或操作方式,並不是人員能力分數。某項技能使用次數增加,可能是工作真的需要,也可能是規則讓它過度觸發。

因此費用與呼叫次數適合當調查線索,不適合單獨拿來宣告某項技能有效或無效。

這次功能以 LangSmith Cloud 公開測試版提供,使用仍計入一般追蹤用量。公開測試版不表示追蹤免費,也不保證每個團隊已有完全相同的部署與權限條件。

工程資料進入服務前,仍應依原有的專案存取安排,決定誰可以看工作內容及成本。資料收集範圍清楚後,最容易被誤讀的就是沒有連到修改請求的支出。

未歸因支出和已合併成本,為何不能直接評斷生產力?

沒有連到修改請求的支出,可能是調查或審查,也可能是無效嘗試,需要回查內容才知道。官方稱這類費用為未歸因支出,意思是目前沒有接到修改請求,不是系統已經判定它沒有價值。這個區分會直接影響管理方式。

想像一個工程師請代理分析系統為何變慢,最後發現瓶頸在外部服務,於是沒有修改程式。這項調查可能讓團隊避免一輪錯誤開發,但不會留下自己的 PR。

反過來,一份很快合併的修改,也可能只是簡單調整文字,並不能據此說它比前一項調查更有產出。這是解讀方式的示例,不是本文實測的客戶案例。

審查工作也有相同問題。代理若替別人的請求找出缺漏,價值可能表現在對方後來的修正,而不是產生一份自己的請求。若企業只獎勵可歸因的合併件數,就可能讓團隊少做必要的調查、審查與預防工作。

儀表板把這些支出另外列出,應該用來讓討論更完整,而不是直接刪減。

已合併成本的分母也值得檢查。大型功能可能包含多個小請求,小型修補也可能需要長時間重現問題。團隊若改變拆分習慣,即使總工作與總花費沒有改善,每份請求的平均值仍會變動。

因此最好同時保留總成本、工作類型、請求規模與驗收結果,避免一個平均數掩蓋工作結構。

品質資料需要另外補上,例如修改後測試是否通過、是否造成回歸問題,以及後續是否需要回復。這些是本文建議的團隊驗收條件,不代表 LangSmith 新儀表板已自動替企業評定全部品質。

官方提供的是從費用回查工作過程的能力,商業價值仍要由團隊連同產品成果判斷。

因此不要把個別工程師的高支出直接當成表現差。資深成員可能負責較難的問題,或替整個團隊做探索。低支出也可能來自使用其他未接入工具。

先檢查資料與任務差異,再討論是否需要調整模型或工作方式,才比較不容易得出錯誤結論。把成本和工作價值分開後,才有條件設計模型更換或技能調整的比較。

公開測試版怎麼試,才能量出有效改善?

先固定任務類型和歸因範圍,再比較變更前後,會比直接排名個人花費更有用。第一輪可選一個有穩定審查流程的專案,只接入一種常用代理,讓已知的一份請求經過幾段工作後,檢查儀表板能否找回完整關係。

先驗證資料可信,才值得擴大接入。

接著挑出一項明確改動,例如縮短某組指引、減少重複載入的資料,或更換同一工作中的模型。一次改太多因素,即使費用下降,也難以知道是哪項變更造成。

比較時保留相近的任務範圍、完成標準與檢查方式,並記下追蹤是否有缺漏。

遇到特別昂貴的請求,可以先看對話是否越來越長,以及昂貴步驟是否反覆出現。重複測試可能是必要驗證,重複讀取相同內容也可能反映脈絡安排不佳。兩者處理方法不同。

不要只因單一步驟花費高就移除它,應先確認刪除後是否降低完成品質。

試行紀錄至少應能回答:這次比較哪些任務、哪種入口有納入、哪些工作沒有修改請求、費用如何與成果連接,以及驗收是否相同。若某一項無法回答,就把限制附在結果旁邊。

這樣即使公開測試版的介面繼續調整,團隊仍保有可重查的依據。

比較期間也要保持一致。某份請求在本週合併,相關探索卻發生在上週,按花費日期與按合併日期觀察,可能得到不同的趨勢。團隊應先確認介面採用的篩選條件,再決定報告的解釋方式,不能把兩種時間範圍的數字直接相除。

這是使用成本報表時需要核對的口徑,不是本文假設服務已採某種固定算法。

對尚未完成的工作,可以保留其開啟狀態與已投入成本,等後續合併或關閉再回看。若每天都只看已合併項目,仍在進行的高成本調查會暫時消失,直到完成時才突然推高平均值。

讓進行中與完成後的觀察並存,會較容易分辨正常的工作週期與真正異常。

最後再討論預算。可歸因成本上升但高難度問題更快被解決,可能值得接受。成本下降卻增加後續修復,則未必划算。把兩者一起呈現,才能判斷投入是否支持團隊真正需要的成果。

當資料缺口、品質和用量都有紀錄,儀表板才有機會支援合理的預算討論。

常見問題

LangSmith 每份已合併 PR 成本,可以直接當 ROI 嗎?

它是投入與成果之間的一個觀察指標。完整投資報酬還涉及人力、維護、交付品質及產品價值。合併代表修改進入分支,不表示收入或節省金額已被量出。

未歸因支出是否應全部刪減?

應先辨識內容。調查、審查與理解程式庫可能沒有自己的修改請求,仍有價值。也可能存在可減少的反覆嘗試。需要回查工作才能區分。

多種程式代理接入後就能公平排名嗎?

還要確認入口、追蹤完整性與任務類型一致。不同工作難度及工具缺漏都會改變報表,不能把費用高低直接換成工程師或工具優劣。

從一份能回查的成果開始

這次更新適合先解決「費用最後去了哪裡」的問題。團隊先把一份成果連回完整工作過程,再檢查未歸因支出與驗收品質,會比急著建立單一排名更快找到可改善的地方。

延伸閱讀:LangSmith 如何查 AI 程式代理成本?從執行軌跡到模型路由

延伸閱讀:LangSmith 新增敏感資料權限控制:輸入輸出、使用者群組與 Trace 政策怎麼搭配?

資料來源