GitHub 公開 Copilot 模型評測：成功率之外，每題成本與推理設定怎麼選？
GitHub首次公開Copilot模型評測網站，列DeepSWE與Terminal-Bench的解決率和平均成本。分清公開與資料日期、推理設定、缺測分母及模型與代理框架共同結果。
Copilot 模型評測這次把一個常見問題攤開：同樣在程式代理裡工作，花更多錢、讓模型多想一些，是否一定更容易完成任務？
GitHub 團隊在 2026 年 11 月 2 日公開評測網站，讓讀者比較不同模型與推理設定的任務解決率，以及平均每題運算費用。
這些結果來自 Copilot 的代理框架。框架會安排工具、上下文與工作步驟，所以圖上的每一點代表模型和這套執行方式的共同表現。
網站公開日也和執行資料日期不同：目前資料標示更新至十月二十一日，採用十月十七日與二十一日的匯出內容。它沒有宣稱十一月二日把所有模型重新測一次。
對想選模型的開發者，這份資料比單看一個冠軍分數更有用，因為相近解決率可能對應很不同的費用。但成本缺測、推理等級和不同題庫，都會影響比較。
要把排行榜變成可用判斷，先看同一套代理框架固定了什麼，再看它仍然保留哪些差異。
Copilot 模型評測固定了什麼，還有哪些差異？
它把模型放進同一產品的代理框架比較，讓讀者觀察模型與執行流程共同產生的結果。這比只把一個問題交給模型，更接近程式代理實際工作的形式。
依 GitHub 官方評測網站，框架會管理工具、內容與任務步驟。模型能否讀到正確檔案、運用工具、根據結果繼續修改，都會反映在最後的解決率。
代理框架是模型的工作環境
例如，模型可能先查看專案，再編輯程式、執行測試，最後根據錯誤修改。這是解釋程式代理的工作形式，並非本站替網站重跑的一道題目。
同一個模型換到其他工具安排，可能遇到不同的結果。因此，這份榜單回答的是在 Copilot 執行環境下，各設定如何表現，不能直接變成所有程式工具的通用排名。
但同產品也不等於每列使用完全相同的程式版本。公開資料多數列出 Copilot CLI 1.0.98，部分配置則標示其他版本，包含 1.0.97 與 1.0.101。
這讓比較有共同框架，也保留了執行版本差異。若看到兩列只差很小，模型本身之外的條件就尤其不能省略。
公開網站，比一次新模型發布多了什麼？
團隊這次公開的是評測資料與比較入口，不是宣布表內所有模型同日推出。網站標示的更新時間，也不能自動當成每一列的實際執行時間。
對讀者而言，日期的用途是判斷資料涵蓋到哪個階段。如果之後模型或代理框架已改版，這份結果仍是當時配置的紀錄，不會自行證明新版維持相同表現。
執行環境交代清楚後，還需要看每個分數背後用了哪些題目與重複次數。
DeepSWE與Terminal-Bench，分數為何不能混在一起？
兩份題庫測不同工作，題數與重複執行次數也不同。比較時要先固定題庫，再看同一份資料裡的模型和設定。
目前 DeepSWE 1.1 每個配置使用一百一十三個任務，Terminal-Bench 4.0 則為六十六個。前者與後者是兩個評估集合，不能把分數高低直接當成相同能力變化。
五次執行，是設計說明還是每列都已完成？
網站的方法說明寫，每個配置執行五次，每個任務最多重試兩次。但匯出資料的描述，則是最近一到五次執行的平均，兩者需要同時看。
實際列出的已評分嘗試數，也可看到相當於一、三或五輪題目的配置。因此，方法的目標安排，和目前各列資料涵蓋程度並不完全相同。
這不能簡化成所有模型都已跑滿五次，更不是每道題都一定重試兩次。最多重試描述的是上限，沒有表示每個任務都使用相同次數。
平均成績也不是挑五次裡最好的一次。若把平均成功率錯看成多試幾次只要成功一次，會讓結果的實際含義改變。
同一模型的兩個分數，不能直接相減
例如 GPT-6.1 Sol 的 medium 設定，在 DeepSWE 為約 74.34%，在 Terminal-Bench 為約 45.45%。兩個數字反映不同任務，不代表模型進入終端機工作後能力固定下降約二十九個百分點。
題目數與工作範圍不同，也會影響分數的波動。公開匯出將資料標為暫定，因此它適合作比較依據，仍需保留後續修訂的可能。
官站連結的一篇六月方法文章，介紹的是較早模型和題庫。那篇的時間限制或執行安排，不能未經確認就套在本次新資料，這次未交代的條件仍應留白。
同一份題庫內，推理設定的改變才適合拿來看成本與成績如何一起移動。
讓模型想更久，為何未必更划算？
公開資料裡，有些較高推理設定增加平均成本，卻沒有在該題庫提高解決率。更多運算是一種資源選擇，不是每個任務都會得到同樣回報的保證。
以 DeepSWE 的 GPT-6.1 Sol 為例，medium 為 74.336%，平均每題約 0.540 美元。xhigh 為 72.389%，約 0.735 美元。max 為 71.504%，約 1.119 美元。
相同模型，也需要看整個工作過程
在這組資料中，較高推理設定沒有把額外成本轉成較高成績。它支持開發者先比較實際任務結果，不能只按設定名稱把最高級當成預設答案。
但這也不證明 medium 在所有程式工作都最好。某些任務可能需要較長推理，另一批問題也可能出現不同排序。網站的具體結果應保持在自己的題庫範圍內。
平均成本還會受到模型在框架裡做了多少步驟影響。單次回答的單價，和整段代理工作用了多少資源，是不同問題，所以比較模型價目表仍不足以重建每題成本。
冠軍旁邊的小差距，值得付多少？
同份 DeepSWE 資料中，Opus 5.5 的 xhigh 設定為 74.513%，平均成本約 4.925 美元。它比 Sol medium 高約 0.177 個百分點，但兩者成本差距明顯大於分數差距。
資料提供的分數標準誤，分別約為 0.761 與 1.481 個百分點。標準誤描述估計的不確定程度，不能單憑排名位置，就認定那零點一七七個百分點已證明穩定優勢。
網站沒有替這個比較提供足以讓本文宣布顯著勝出的檢定結論。因此，較妥當的解讀是目前分數接近、成本不同，而不是把第一名自動當成值得付出所有差價。
換到終端機題庫，成本取捨也會改變
在 Terminal-Bench 的 medium 設定中，Sol 約 45.45%、平均每題 0.606 美元，Opus 5.5 則為 50.0%、約 3.090 美元。這裡較高的成績伴隨較高成本，和前面同模型提高推理設定卻掉分，是兩種不同比較。
對選型而言，這表示不能先用一份題庫找出最便宜的模型，再假設它對另一種工作也有相同優勢。若團隊更接近終端機操作，應從這份題庫的條件開始理解，而不是拿軟體題庫的最高分直接代入。
這組數字仍沒有證明較高費用對每個任務都值得。有人可能優先爭取更多任務通過，有人需要控制大量嘗試的預算，榜單提供比較的起點，最後還要回到團隊自己的完成標準。
單次平均有高低，還需要判斷差距是否大到足以支持穩定優劣，也需要知道成本資料是否完整。
每題成本和成功率，為何不是同一個分母？
成功率涵蓋預期任務結果，平均成本則只使用成本事件紀錄完整的部分。這個差異會影響人們能從散點圖推論到什麼程度。
目前 DeepSWE 的四十三種配置，合計有二萬三千三百九十一次預期嘗試，任務結果沒有缺漏，但有一百六十九筆成本缺漏。
Terminal-Bench 的四十二種配置，合計有一萬二千九百三十六次預期嘗試，同樣沒有任務結果缺漏，卻有六百五十八筆成本缺漏。
有結果，不等於每次都有完整帳務事件
任務能否完成，和系統是否留下完整費用紀錄，是兩項不同資料。前者完整，不會自動補齊後者，因此不能說圖中的每一分錢都涵蓋所有已評分嘗試。
平均成本採完整紀錄的案例，且是整段代理工作的成本統計，不是只平均成功的任務。把它當成完成一題的固定售價，就會忽略失敗嘗試也可能花費資源。
這也不是 Copilot 訂閱帳單。使用者的方案、額度和其他服務支出，不能只靠這個平均值直接換算，網站展示的是評測裡的運算成本資訊。
費用差距可以看，完整預算還要另外建立
如果某設定的成績相近、記錄成本較低，它可以進入下一輪選擇。但在成本缺測存在時，仍需要知道自己的工作和評測任務差多少，才能評估完整支出。
例如，假設團隊把一個代理任務拆成多個小步驟，各自呼叫模型，實際的任務邊界就可能與榜單不同。這是說明預算分母的假設，不是本文公布新的企業節費測試。
把資料缺口留下之後，這份榜單才能成為篩選線索，而不會被誤當成帳單保證。
開發者該怎麼用這份榜單縮小選擇？
它適合先找出成績與費用都符合需求的設定，再用自己真實工作驗證。比較的單位應包含模型、推理設定、框架版本與任務，而不只是模型名稱。
網站的最佳配置視圖，可能替不同模型選出各自最有利的設定。這能幫助看能力範圍，卻不等於全部使用相同的預設 medium。
相同名稱的等級，也不一定是相同資源
不同模型列出的推理等級並非完全對齊。例如有的以 high、max 呈現，其他模型則有 medium、xhigh 等選項。不能只因文字相近，就認定給了相同運算預算。
資料也保留完整性旗標、被標記的通過案例與清理後分數。這些欄位提醒讀者，不能先假設每個配置的每次成功，都完全沒有需要額外檢查的情況。
若想比較模型差異，應先看同題庫裡接近的工作安排。若想挑實際產品設定，就更要看自己能取得哪個選項。資料中的名稱，不會替所有尚未公開的產品提供可用性保證。
解決率以外，還有它沒有測的事
網站明確說明，沒有測反應時間，也沒有涵蓋所有開發者工作。因此，一個平均成本較低的配置，未必同時符合團隊等待時間、互動方式與品質需求。
對需要快速來回修改的人，等待和正確率可能同樣重要。對能在背景執行的工作，則可能有不同取捨。這些選擇需要自己的資料，不能直接從兩個座標推回完整體驗。
這份公開資料的價值，是讓模型選擇更具體，能問清楚花費換到了多少受測任務的完成。當後續版本公開更多方法和新資料，才適合在相同條件下繼續比較，而不是只追新的最高點。
想持續追蹤 AI 評測的數字與實際限制，歡迎免費訂閱 AI 郵報。
Copilot 模型評測常見問題
11月2日公開，代表資料都是當天產生嗎？
不是。新事件是公開比較網站，網站目前標示的資料更新日期為十月二十一日，部分匯出更早。閱讀時應把公告日期與測試資料日期分開。
每題成本可以用來推算訂閱費嗎？
不能直接換算。它是測試中成本紀錄完整案例的平均運算費用，和個人或企業方案的計費安排不同，也沒有承諾每個任務都花相同費用。
可以只看解決率最高的模型嗎？
若只看最高點，就會漏掉設定差異、誤差和費用。先看分數是否接近，再看成本與資料涵蓋，會比把很小的名次差距當成絕對優劣更有依據。
延伸閱讀：AA-Omniscience v1.1 更新：題數減半，為什麼 AI 分數下降不等於退步？
延伸閱讀：Microsoft 企業合成資料怎麼測 Copilot？三種產業情境與評估邊界
原始資料來源
