NVIDIA Mid-Harness 是什麼？AI 執行指令前先挑方案，成功率從 50% 到 68%

AI 操作終端時，一個錯誤指令可能讓後面的工作更難完成。NVIDIA 的 Mid-Harness 研究因此把一道選擇程序放在執行之前：先產生多個候選動作，再由驗證者挑選其中一個。在指定的 TerminalBench-Lite 測試中，成功率由 50% 提升到約 68%。

這個結果近期在 X 被分享，核心是「會提出好方案，與能選中好方案是兩種能力」。研究發現，如果驗證者較弱，即使增加候選動作，也未必帶來多少改善。較有能力的驗證者，才能利用同一個生成模型已經能提出的替代方案。

Mid-Harness 修改的是模型與代理流程交界處的選擇方式，並保留原本的生成者與工作流程。它沒有證明 AI 指令變得完全安全，也不是所有電腦操作都能直接提高十八個百分點。本文會先說明動作層級的檢查，再拆解測試數字、成本與實際應用條件。

終端代理為什麼需要在執行前多一道判斷？

終端是透過文字指令操作電腦的介面。AI 終端代理可以讀檔、執行程式、安裝套件或處理資料，並根據輸出決定下一步。這種工作和純聊天不同，因為指令會改變環境，前一步的錯誤可能影響後面所有步驟。

假設代理需要執行一個測試，卻先安裝了不合適的套件版本。接下來可能出現新的錯誤，代理又花時間修復它自己引入的問題。即使模型其實能提出正確的安裝方式，一次隨機生成剛好選到較差動作，也會使整條工作路線偏離。

大型語言模型生成具有變動性，相同情境可能產生不同指令。這種多樣性有時有幫助，讓系統能提出替代方案。問題是正式執行只能選某個動作，系統必須在沒有看到後果之前，判斷哪一個更符合目前任務與環境。

Mid-Harness 正是把運算投入這個選擇點。與其等整項任務失敗才重做，它先比較下一步的候選，試圖減少不必要的錯誤。這讓研究從「多跑幾次完整任務」轉向「在每個關鍵動作多做一些判斷」。

Mid-Harness 如何運作？生成、比較、執行

依照原始論文，生成者先根據目前狀態提出多個候選動作，驗證者再評估或比較它們，選出一個交給原本的流程執行。生成者負責提出可能的指令，驗證者負責判斷，執行環境則回傳實際結果。

這個位置很重要。驗證程序插在生成與執行之間，能使用目前任務、環境資訊與候選內容。它在動作尚未執行時進行比較，使用的是目前可取得的狀態與候選資訊。若候選包含會修改環境的動作，全部執行反而可能造成相互干擾。

研究比較不同驗證方式，例如直接評分或兩兩比較。兩兩比較可以想成逐步選出較好的方案，讓模型專注於判斷兩個候選的差異。哪種方式有效，會受到驗證模型能力影響，不能假設某個比較格式對所有模型都最好。

驗證者也可以是比生成者更強的模型。這樣的分工讓較小模型提出選項，較強模型把運算集中在判斷。實際是否省成本，要看候選數量、每次比較的輸入長度與模型價格，不能只看生成者規模小就認定整體便宜。

這個結構讓判斷能力可以單獨改善，也更容易追蹤錯誤。失敗可能來自沒有生成合適方案，也可能來自驗證者選錯，或環境資訊不足。把三種原因拆開，才知道下一步應增加候選、改善驗證，還是補齊工具回饋。

從 50% 到 68.03%，測試條件有哪些？

論文中的醒目結果使用 TMAX-9B 作為生成者，以 GPT-5.6 Sol 作為驗證者，每次生成八個候選動作，在 TerminalBench-Lite 評估。基礎代理的 Pass@1 是 50%，加入這套安排後為 68.03%，增加 18.03 個百分點。

Pass@1 是一次執行完成任務的比例，與事後多次嘗試挑成功的一次不同。這個指標讓讀者看見單次路線是否更可靠，仍需要一起理解任務集合、步數限制與模型設定。它不是 NVIDIA 所有產品或所有終端代理的共同成績。

研究也把較強驗證者的回應用來訓練較小模型，這稱為蒸餾。蒸餾是讓一個模型學習另一個模型提供的判斷或示範，不等於把大模型完整能力原封不動搬進小模型。論文報告它改善了驗證表現，但仍存在差距。

另外，研究探索結合動作選擇與完整路線的多次嘗試，在指定條件下能以較低估計 token 成本達到較高成功率。估計成本取決於計價與測試方式，正式服務還需要計入工具時間、網路、重試與運行成本，不能直接保證每家公司都省同樣比例。

候選越多，為什麼不一定越好？

如果八個候選都犯相同錯誤，驗證者沒有正確方案可以選。生成多樣性需要涵蓋真正不同的方法，而不是把同一個指令換幾種寫法。這也是為什麼不能只把候選數從八增加到八十，就預期表現一直上升。

就算有正確方案，驗證者也可能誤判。它可能覺得較長的指令看起來完整，卻沒有注意到其中的路徑錯誤。也可能偏好常見做法，忽略目前環境的特殊限制。判斷需要理解指令效果與執行條件，不只是閱讀文字是否流暢。

候選增加還會增加成本。每個候選需要生成，驗證者需要讀取更多內容，有時還會進行多輪比較。若原本任務已很簡單，多出的判斷時間可能高於收益。應按任務的重要性與錯誤代價決定投入，而不是讓每一步都固定用最大預算。

環境資訊也必須夠新。驗證者若不知道某個檔案已經改名，或套件已經安裝，可能選出過期動作。更多候選無法彌補錯誤狀態。把工具結果與環境變化準確交給模型，是執行前判斷能成立的基本條件。

用修復程式示範：怎麼比較下一個動作？

假設代理要處理一個測試失敗，候選包含查看錯誤日誌、升級套件、修改函式與重新執行全部測試。這是本文的理解示例。若目前資訊只顯示一段不完整錯誤，先讀日誌可能比立即修改程式更合理，因為它能縮小問題範圍。

若已經知道問題是某個邊界條件，驗證者則需要檢查修改是否只影響必要部分。一個看似能讓測試通過的動作，可能直接刪掉檢查或改掉預期結果。完成指標如果太弱，就會鼓勵這種表面成功，顯示驗證者與最終驗收都需要清楚標準。

候選比較也能檢查操作範圍。讀取一個檔案與改動整個模組的風險不同，安裝套件與執行既有命令也會改變不同環境資訊。對真實工作，選擇應考慮必要性、可驗證性與授權範圍，而不只是預估哪個最可能快速得到成功訊號。

這些判斷不是論文已證明的安全保證。研究主要量測任務完成能力，在隔離測試環境中執行。正式系統仍需要外部權限控制、操作紀錄與必要確認，不能讓驗證模型的一次選擇取代所有工程限制。

導入前，先測判斷品質與完整成本

先保存候選與最終選擇。若只看到最後執行的指令，團隊很難知道更好的方案是否曾經存在。保留候選可以區分生成問題與選擇問題，也方便檢查蒸餾或規則修改是否真的改善判斷。

接著按動作類型整理錯誤。路徑錯誤、指令語意、套件版本與缺少前置條件，可能需要不同資訊。若驗證者經常看錯某類指令，增加相同形式的比較未必有效，可能應先讓它取得更清楚的工具狀態或縮小可用操作。

再量測從交辦到驗收的總時間。候選選擇可能減少後續返工，也可能讓每一步變慢。對一項容易失敗的長任務，前期多判斷可能值得。對簡單、可立即重試的任務，少量候選也許已經足夠。真實數據能幫助決定預算分配。

最後保留固定基準與未參與調整的案例。驗證者在熟悉指令上進步，不代表面對新工具也一樣有效。把工具更新、環境差異與新任務納入測試，才能看出它是否能可靠轉移到正式工作。

還要注意生成者與驗證者可能共享盲點。如果兩者都誤解某個工具的使用方式，驗證程序可能再次肯定同一個錯誤。獨立的工具輸出、明確的參數說明與可重現的驗收，能提供模型之外的依據。多一個角色並不等於多一份可靠證據，證據仍需要來自實際環境與結果。

常見問題：多一個驗證模型，能讓 AI 操作電腦更安全嗎？

成功率變高，就代表指令安全嗎？

兩者需要分開看。成功率衡量是否完成指定任務，安全與權限則涉及資料存取、外部影響與不適當操作。論文也明確指出，任務可靠性結果不等於生成指令的安全或資安保證。正式部署仍需要獨立的控制與驗收。

驗證者一定要用更大的模型嗎？

研究探索較強模型，也比較相同模型的驗證方式。較有能力的驗證者能更有效利用候選，但價格與延遲也可能較高。可以把它視為一個待測的配置：模型、候選數、比較方式與成本應一起評估。

這能直接套用在所有 AI 代理嗎？

方法具有可研究的延伸方向，實際效果仍取決於任務與工具。終端指令較容易明確列成候選，某些創作或長期規劃任務則不一定有相同選擇結構。使用前應確認動作可比較、環境資訊足夠，且結果有可驗證的標準。

結語：AI 的下一步，也值得單獨投入運算

Mid-Harness 顯示，提升代理表現不只靠更換生成模型，也可以發生在執行前的選擇點。多個候選提供替代方案，可靠驗證讓系統更有機會選中合適動作。指定測試從 50% 到約 68%，提供了值得進一步研究的證據。

對開發團隊，最有用的問題是：失敗因為沒有好方案，還是選錯好方案？把候選、選擇與實際結果保存下來，就能更清楚地分配改善預算。當判斷能力與外部控制一起建立，代理才更有機會減少返工，持續完成多步工作。

官方資料來源

• Mid-Harness 原始研究論文
• X 討論線索