Harness² 開源：Google 讓 AI Agent 自己調整工具與工作流程，能改善什麼？

AI 能寫程式，卻常在找檔案、選工具或整理工作記憶時卡住。Harness² 想改善的，正是這些圍繞模型的工作方式，讓同一個模型遇到新任務時，也能調整自己的執行配置。

我們容易把代理做不好歸因於模型不夠聰明，但模型拿到哪些資料、能用哪些工具，以及失敗後如何回頭，都會影響最後成果。只換一個更大的模型，未必能解決這些問題。

Google Research 公開的這套研究框架，讓代理提出配置修改、實際試跑，再從不同版本的行為挑出可採用的安排。過程保留原本的模型權重，也就是模型訓練完成後學到的核心參數。

官方在法律、辦公與專業工作評測中報告了進步，因此這項研究有意思的地方，是把改善目標移到整套執行系統。但試跑需要時間，代理比較自己的表現，也不能代替最後的正確性驗證。

對已有測試與紀錄的開發團隊來說，這是一個值得做小規模實驗的方向。對只想按一下就得到可靠答案的使用者，研究框架仍需要不少工程準備，先看它究竟能改哪些環節，會比只看「自我改進」四個字更有幫助。

Harness² 是什麼？先弄懂模型外的執行系統

Harness² 可以理解成替代理調整工作環境的框架，代理則是會使用工具、依步驟完成任務的 AI 系統。模型負責判斷與生成內容，周圍的配置決定它如何拿資料、如何執行，以及如何保存經驗。

例如同樣要求整理一份資料分析報告，有的系統只把檔案塞進對話，有的先建立資料夾、提供查詢工具，再要求保存計算紀錄。因為資訊進來的順序與工具不同，同一模型也可能做出不同結果。

研究把這些配置稱為 harness，可白話理解成代理的工作配備與執行規則。這個名稱不代表某一個模型，也不限定只用在寫程式，因為辦公文件與法律研究同樣需要工具和流程。

依 Google Research 專案說明，可修改的部分包括系統提示、限制規則、記憶、工具說明、分工代理、技能、腳本與外掛。它們共同決定上下文、工具介面及執行中的行為。

其中系統提示是整個任務應遵守的指令，記憶是後續工作可以再讀到的資訊。腳本則是可執行的程式，所以修改配置可能改變代理的實際行動，影響比單純換一段文字更大。

這也說明為何研究要固定模型權重。把模型能力暫時固定，才能觀察改善來自哪些工作安排，而不是把結果全部歸功於換了更強的模型。

不過可以編輯八種配置，只代表研究提供的介面範圍，並不表示每項任務都必須全部更動。一次改太多地方，反而難以知道是哪個改動有效，因此實驗仍需要留下版本與執行證據。

一項任務如何改進？從提出修改到比較行為

這套方法先針對眼前任務試出更合適的配置，而不是先要求開發者替所有未來問題寫好流程。因為新任務可能帶來原設計沒想過的文件、工具與限制，固定配置容易遇到盲點。

它把一次改進分為提出、探測與組合。代理先提出候選修改，再讓候選版本執行同一項任務，最後比較執行過程，組合出準備採用的新配置。

假設原代理常找錯資料夾，候選版本可以改寫檔案搜尋規則。如果另一版本比較擅長保存計算依據，組合階段就有機會保留兩者各自有證據支持的做法，而不必只選其中一整份設定。

這裡的比較重點是行為差異，例如工具有沒有成功執行、步驟有沒有反覆打轉、輸出是否符合任務要求。它讓系統在沒有標準答案回饋時，也能找到值得嘗試的改善方向。

但「沒有標準答案也能改配置」和「沒有標準答案也能證明答案正確」是兩件事。兩個版本都可能引用同一份錯誤資料，所以行為比較可以幫忙選流程，成果仍需要外部證據與驗收條件。

平行探索和逐次修正怎麼選？

平行方式會同時探索多個候選配置，適合懷疑原流程有幾種不同解法的任務。但同時試得愈多，運算用量與管理紀錄的負擔也會增加，因此不能只把候選數量當成品質指標。

逐次方式則把一輪採用的配置帶進下一輪，再繼續改善。它有機會沿著同一條路深入修正，但若早期方向有誤，後續也可能圍繞錯誤假設繼續優化。

因此，選擇方式應回到失敗型態。若團隊還不知道哪種流程可行，可以先比較少量差異明確的候選；若已確定卡在特定環節，逐次修正較容易把原因與效果連起來。

跨任務記憶怎麼累積？保存經驗仍要保留證據

框架的另一層遞迴，是讓改善配置的方法本身帶著過去經驗往前走。一次任務結束後，系統保存採用的配置，以及能由執行過程支持的心得，供未來提出修改時參考。

這和把完整對話一直塞進模型不同，因為重點在於留下可重用的做法與理由。後續任務便能從先前找到的線索開始，減少每次重新猜測該怎麼安排工具的工作。

例如某類表格任務需要先檢查欄位型別，這個教訓可能幫助相似工作。但如果把「這份資料要這樣處理」寫成「所有資料都要如此」，記憶就可能把局部經驗擴大成不合適的規則。

因此，工程上值得保留的經驗應帶著適用情境、來源與失效條件。文件格式或工具版本改變後，舊配置可能需要重新測試，保存紀錄本身不會保證它永遠有效。

這也讓記憶的治理變得重要。對多人共用的代理，某個專案中的客戶資料與特殊權限，不能因為被寫進心得，就自動成為其他任務可以使用的知識。

跨任務改善有價值的前提，是系統能區分哪些做法可以共用、哪些內容只屬於當次任務。這項研究提供改善機制，團隊仍要替實際環境定義資料與權限邊界。

官方基準進步怎麼讀？分數和百分點不能混用

官方結果支持的結論是，在研究測試的模型與配置組合中，一輪調整就能優於原本配置。它顯示工作環境有改善空間，但測試範圍仍限定在研究使用的專業任務。

README 列出三套基準與四組模型、配置組合，模型包含 GLM-5 和 Gemini 3.5 Flash。最高改善分別為 WorkBuddy-Bench 的 11.5 分、JobBench 的 4.5 分，以及 LAB 部分通過率的 11.8 個百分點。

這些數字要分開看，因為不同基準量測不同工作，也未必使用相同評分方法。不能把三個改善值相加，當成代理整體能力增加了多少，更不能直接換算成所有任務的成功率。

「最高」也代表其中表現最好的條件，而不是每一個模型與任務都得到同樣進步。若團隊要重現結果，必須對齊模型、執行器、任務子集、遞迴預算與評分設定。

研究還報告增加任務層級的遞迴預算可以帶來進一步改善，但改善同時伴隨更多執行。因此，實際使用時應一起比較完成品質、耗時與費用，才知道多跑的候選是否值得。

原始研究論文 和程式庫可供讀者追查方法與條件。本文整理的是作者報告，本站沒有執行這些基準，也沒有取得足以證明任何企業流程會得到相同增幅的結果。

開發團隊怎麼試用？先做可回復的小型比較

試用的第一個目標應是找出一項常見失敗能否改善，因為範圍清楚才有辦法驗收。可先挑少量具有明確輸入、正確成果與失敗紀錄的任務，保留原配置作為比較基準。

接著先決定什麼叫做變好，例如文件內容正確、工具操作完成，而且沒有動到任務以外的檔案。只看代理最後說「已完成」，會把自我陳述誤當成成功證據。

成本也要按完整任務計算，包含候選試跑、配置編輯、最後執行與評分。某個候選輸出較短，不代表整輪實驗較省，因為前面的探索也會使用模型與運算資源。

權限則應由執行環境控制。專案 README 明示預設執行器的網路存取不受限，Codex 執行方式也會關閉沙盒，因此團隊應先在隔離環境與測試資料上評估，避免直接交付正式系統憑證。

這項安排也影響評測公平性。公開基準的答案或評分規則可能在網路上取得，若代理在執行時看到這些資料，成績就可能無法反映原本想測的能力，所以必須控制可存取的資源。

最後應保留可回復的版本。若新配置只讓某類任務變好，卻讓其他工作退步，團隊需要知道何時應沿用原設定，而不必把每次採用都視為永久升級。

團隊還可以保留一組不參與配置修改的測試題，等候選流程確定後才使用。因為同一批題目被反覆試跑，設定可能只適應那些題目，新的題目才有助觀察改善是否能延伸。

對重要文件，應把內容與格式分開驗收。例如檔案能成功開啟，只能證明輸出格式可用，數字是否正確、引文是否來自原始資料，仍需要各自核對，避免一個成功訊號掩蓋其他錯誤。

如果團隊採用跨任務心得，也應記錄是哪一次執行支持了該做法。當後續任務出現相反證據，就能回到原紀錄修正規則，而不是讓沒有來源的建議持續累積，增加之後追查原因的困難。

試用紀錄最後應連回原本的失敗問題。若原本卡在找不到文件，就確認新流程是否降低這類錯誤，並觀察有沒有增加不必要的搜尋，才能把改善和成本變化放在同一個脈絡裡判斷。

Harness² 常見問題

它會重新訓練模型嗎？

研究固定模型權重，調整的是模型外的提示、工具、記憶與執行配置，因此不用把每次流程改善都變成一次模型訓練。

一般使用者可以直接把它當聊天服務嗎？

這是需要安裝與設定的研究程式庫。官方列出 Linux、Python 與相關工具需求，若要跑模型基準，還需要設定模型存取與任務相依套件。

不用標準答案，為什麼還需要評測？

流程改善可以根據不同執行的行為比較進行，但要知道最後答案是否正確，仍要靠獨立驗收，因為執行順利和內容正確不一定同時成立。

開源是否代表 Google 正式支援？

程式碼採 Apache 2.0 授權，但專案另有第三方元件的授權條件，README 也明示它並非 Google 正式支援的產品。

結語：把改善流程的能力，放進可驗收的工程環境

Harness² 把一個常被忽略的問題攤開，代理的表現同時取決於模型和它工作的環境。因此，當團隊遇到反覆找錯資料、工具使用混亂或任務記憶失效時，調整流程有可能比盲目增加模型規模更有方向。

適合先嘗試的，是能保存版本、比對結果，也願意替成本與權限設限的開發團隊。先用一項可重現的失敗做對照，會比直接追求全面自主更容易判斷這項研究是否對自己的工作有用。

想繼續理解代理如何學會調整執行配置，以及跨工具記憶如何保存，可以接著閱讀以下兩篇，再回到官方程式庫追蹤更新。

延伸閱讀：Harness Learning 是什麼？AI 不改模型參數，也能從執行回饋改善工作流程

延伸閱讀：Hy Memory 2.0 開源：讓 Claude Code、Codex 共用記憶，資料真的留在本機嗎？

資料來源

• Google Research Harness² 程式庫與安裝說明
• Harness² 原始研究論文