LangChain 模型分流實驗：Open SWE 成本中位數降低 64%，怎麼做到的？

程式代理遇到的小修改與大型重構，未必需要使用同一個 AI 模型。LangChain 創辦人 Harrison Chase 最近在 X 分享 Open SWE 的模型分流實驗，官方文章報告：每段工作成本的中位數降低了 64%。

這個數字來自特定工作環境的對照實驗。它的啟發是，代理開始工作前如果能讀懂任務需求，就可能把簡單工作交給較便宜的模型，把較強的模型留給較複雜的問題。

模型分流器先判斷任務，再選擇模型

模型分流器是一個選擇機制，負責判斷任務適合由哪個模型處理。Open SWE 把這個選擇放在代理的執行環境裡，讓分流器取得工作描述與可用工具等資訊。

代理的執行環境也常被稱為 harness，包含工具、上下文與工作規則。這些資訊能幫助系統理解任務難度，而不只是看到使用者的一句問題，就從模型清單挑一個名字。

官方實作在工作對話開始時選擇模型，子代理目前自行選擇模型，尚未接入這個分流器。執行到一半重新選擇模型，是文章提到的後續方向。它目前不會在每一步自動切換模型。

64% 是成本中位數，實驗有特定比較基準

LangChain 的實驗包含 973 段工作對話，將分流方案與固定使用 GPT-6 Astra 的方案比較。成本中位數從 2.61 美元降到 0.94 美元，平均成本則降低約 42%。

中位數可以理解為把成本排序後，位在中間的那筆數字。它與平均值不同，所以標題中的 64% 不能直接拿來估算整個團隊的總支出，也不能當成每一項任務都會節省的比例。

實驗也追蹤程式修改最後被合併的比例，分流組為 29.2%，固定模型組為 27.3%。作者報告兩者差異沒有達到統計顯著。這代表此次樣本沒有清楚測到差異，還不等於證明所有品質都相同。

團隊要先定義完成品質，才能評估分流

假設團隊每天處理格式修正、文件更新與跨檔案功能修改，可以先把任務分成幾類，再比較固定模型與分流方案。除了費用，也要記錄完成時間、測試通過率與人工修正的工時。

只看單次呼叫價格，容易漏掉重試成本。較便宜的模型如果反覆修改錯誤，最後可能花更多時間。較強的模型若被用在大量簡單工作，也可能增加沒有必要的支出。

因此，分流方案需要搭配團隊自己的驗收標準。例如，修改是否通過受影響的測試、是否符合既有程式結構，以及工程師接手後要補多少工作。這些項目可以讓價格比較回到實際交付。

官方案例把選擇放進 Open SWE 的工作環境，也提醒讀者：分流器與任務資訊的配合很重要。把同樣模型清單搬到另一個應用，不代表能重現同樣節省幅度。

一般使用者需要照抄這套模型組合嗎？

不必急著照抄。模型名稱、價格與能力會改變，自己的任務也可能和 Open SWE 不同。更值得採用的是評估方法：先建立固定模型的基準，再觀察分流後的總成本與完成品質。

如果工作量還不大，可以先用少數代表性任務做比較，保留每次輸入、結果與修正紀錄。等你看出哪一類工作適合哪種能力，再決定是否需要自動分流器。

這則新聞讓模型選擇從個人偏好走向可量測的工作決策。它提供了一個有成本數據的案例，下一步則是把同樣的問題帶回自己的環境：省下的費用，是否伴隨可接受的交付結果？

把模型分流接進開發流程前，先整理任務分類

團隊想採用模型分流，第一步是知道自己的代理平常在做什麼。可以從已完成的工作紀錄取樣，按問題查詢、局部修改與跨檔案功能等類型整理，再觀察各類任務需要多少人工接手。

分類不必一開始就很細。先把「讀資料回答問題」和「實際改程式」分開，通常就能避免用同一項完成指標評估所有工作，也讓成本比較有較清楚的基準。

任務描述要讓系統知道完成條件

同樣一句「修正登入問題」，可能只需要修改錯字，也可能涉及驗證流程與資料庫。若工作描述太模糊，分流器很難知道需要哪一種能力，後續驗收也會失去依據。

任務可以包含預期行為、受影響範圍與已知限制。例如，指出在哪個情境發生錯誤、原本應該得到什麼結果，以及哪些介面不能改，會比單純給一個功能名稱更有用。

這些資訊也會影響代理的執行。分流器選到適合的模型之後，模型仍需要足夠上下文才能完成工作。模型選擇與任務準備，因此應該一起評估。

若團隊的工作紀錄經常缺少完成條件，可以先改善任務描述，再比較不同模型。否則，任務本身的不確定性，可能比模型之間的差異更影響結果。

評估資料要包含失敗與人工修正

只挑出成功案例，容易讓分流方案看起來比實際更穩定。樣本應包含最後沒有合併的修改、重試很多次的工作，以及需要工程師大幅重寫的結果。

對每段工作，可以記錄代理費用、回合數、測試結果與人工處理時間。這些資料能幫你看出某個模型是否在特定任務上反覆卡住，而不只是單次呼叫的價格差。

人工修正時間可以先用粗略區間記錄，不必要求每分鐘都精確。重要的是讓「便宜但難接手」的結果被看見，避免把費用轉移到工程師身上後仍稱為節省。

成本中位數、平均數與品質，應該一起讀

Open SWE 的數據提供了兩種成本觀察：中位數反映一段典型工作的費用，平均數則比較容易受到少數昂貴任務影響。兩者一起看，才能理解節省分布在哪裡。

你也可以用一個假設例子理解這個差異。若九個任務各花一元，另一個任務花十元，中位數是一元，平均數卻接近兩元。這只是統計示例，與官方模型價格無關。

先問費用如何分布，再決定改善方向

如果大多數任務都便宜，只有少數工作很昂貴，團隊可能需要處理長時間重試或上下文過大。若每個任務都偏貴，才更適合評估是否普遍使用了過高的模型能力。

模型分流可能改善其中一部分，但不會自動解決全部原因。工具回傳、任務描述與重試策略，也會影響整段代理工作需要的費用。

因此，報告可以同時呈現典型成本、總支出與最昂貴的一批任務。這些資料會讓團隊知道分流器幫助了哪些工作，以及剩下的成本問題應從哪裡處理。

沒有測到品質差異，還需要定義品質

官方以程式修改合併比例觀察品質，這是一個有用結果，但仍未涵蓋所有維度。修改是否引入漏洞、測試是否完整，以及後續維護是否容易，也可能影響團隊的使用決定。

測試時可以先選少量實際任務，讓工程師在不知道使用哪個模型的情況下評估結果。這種方式有助於減少品牌印象影響，但仍要記錄評分標準與樣本限制。

如果某一類任務的失敗代價比較高，可以給它較嚴格的完成要求。分流方案應符合團隊對這類工作的容忍程度，而不是只追求整體平均費用最低。

如何從小範圍實驗走到可使用的分流規則

一個可開始的試驗，是保留固定模型作為對照，只讓部分任務走分流方案。兩組使用相同工具與完成標準，再比較費用、品質與人工處理結果。

樣本分配需要避免挑選偏差。如果你刻意把最簡單的工作交給新方案，卻把複雜工作留給對照組，最後的成本差就很難說明分流機制是否有效。

設定能回到固定模型的條件

分流之後仍可能遇到難度判斷錯誤。可以先定義什麼情況需要人工檢查，或重新用既有方案處理，例如反覆出現同一錯誤、修改範圍持續擴大，或無法通過必要測試。

這種回復路徑的用途，是讓新方案能在有限範圍內被驗證。它不代表 LangChain 已提供所有相同設定，而是團隊把分流接進自己流程時，可以先整理的規則。

同時要保存最初的分流決定與後續結果。當任務沒有完成時，才能判斷是選錯模型、工具缺少資訊，還是工作本來就需要人做更完整的分析。

模型更新後，重新檢查原本的分類

模型能力與費用會改變，先前合理的選擇不一定永遠適用。團隊可以在更換模型或重大工具更新後，重新跑代表性任務，確認原本規則是否仍符合需求。

代表性任務可以保留幾種常見工作與幾個較難案例。這樣既能觀察日常成本，也能看見重要邊界，避免只在容易成功的範例上確認更新。

當分流規則有實際工作紀錄支持，它就比較容易被維護。工程師能說清楚選擇理由，管理者也能知道節省是否伴隨可接受的完成品質。

模型分流常見問題

模型分流適合只有少量工作的個人嗎？

少量工作未必需要先建自動分流器。可以先記錄自己常做的任務，手動比較幾個模型的費用與修正時間，等選擇規則變得清楚，再評估是否值得自動化。

分流機制也有設計與維護成本。任務量還不大時，清楚的工作描述與適當的測試，可能比複雜的選擇系統更直接改善結果。

Open SWE 的 64% 可以當成預算承諾嗎？

不適合。這是特定實驗的成本中位數變化，總支出還取決於任務數量、模型價格、重試與工作分布。自己的預算應以實際使用資料估算。

可以把官方案例當作試驗的理由，再用自己的工作建立基準。只有當同樣範圍的任務被完成，費用比較才比較有意義。

分流器會在每一步都切換模型嗎？

這次官方實作在工作對話開始時選模型，並未把每一步重新選擇當作已部署功能。子代理目前也自行選擇模型，尚未接入這個分流器。

途中重新判斷可能增加彈性，也可能影響上下文與費用。是否採用，需要看正式實作與自己的測試，不能從概念推論結果。

最先該追蹤哪三個指標？

可以從完整工作費用、完成結果與人工修正時間開始。這三者能回答省了多少錢、工作有沒有完成，以及節省是否只是把負擔轉給人。

LangChain 的案例讓模型選擇有了可量測的起點。團隊接下來要做的，是把相同問題帶回自己的任務，找出能力、費用與交付品質之間比較適合的安排。

用一組代表性任務建立自己的基準

可以先挑出幾種常見工作，使用固定模型完成一次，保存費用、結果與人工修正紀錄。這份資料會成為之後測試分流方案的對照，不需要一開始就建完整系統。

加入分流之後，也用相同方式記錄每段工作。當某類任務變便宜卻更難接手，或品質提高但成本增加，就能把取捨放在具體結果上討論。

官方案例提供了一個值得試驗的方向，自己的工作紀錄才會決定它是否適合使用。把驗收放在模型選擇旁邊，費用優化才比較容易轉成交付改善。

想持續追蹤 AI 科技新聞與實用工具，可以免費註冊 AI 郵報會員，閱讀更多新功能的用途與實作解讀。

延伸閱讀：LMGame 偵探遊戲實驗：大模型當福爾摩斯、小代理群蒐證，96/100 能說明什麼？。

延伸閱讀：Polymarket 年底最強 AI 模型市場：Google 反超 Anthropic，這個機率能當領先指標嗎？。

資料來源

LangChain 一手資料、X 原始貼文。