Hugging Face 公開 Harness adapters 訓練:小型模型如何學會更有效率地用工具?

Hugging Face 公開 Harness adapters 新訓練配方與直播。拆解 LoRA 共用模型、270 個任務的資料偏斜、safeagents 防作弊,以及 5 美元評估數字的真正範圍。

Share
Harness adapters 官方訓練圖,列出 Hermes、pi、opencode 與三個模型的組合。
Harness adapters 官方直播訓練示意。來源:Hugging Face。

同一個開放模型,換成另一套程式代理工具後,可能會多繞幾次路才完成任務。因為工具名稱、指令格式與工作流程,也會改變模型的表現。

Hugging Face 公開的新一輪 Harness adapters 訓練,嘗試替每種代理環境準備一小份專用調整,讓同一個模型更熟悉眼前的工作方式。

這種調整稱為 LoRA adapter,可以理解成掛在原模型旁、少量需要學習的參數。底層模型繼續共用,不必為每種工具保存一整套修改版。

2026 年 11 月 6 日的新公告,擴充模型與可驗證任務,並把最終訓練放到公開儀表板。讀者可以看見過程,而不只有完成後挑出的成績。

我會把它當成開放模型團隊可研究的訓練配方,因為它降低比較多個環境的負擔。但完整訓練仍在進行,還不能當成通用程式能力的結案成績。

要看懂這個差別,得先分清模型和代理工具各自在做什麼。

Harness adapters 為什麼要跟代理工具一起訓練?

模型負責選擇下一個動作,代理工具則決定它看到什麼、能呼叫什麼,兩者合在一起才形成工作表現。官方作者文章將這套工具與控制流程稱為 harness。

例如模型想修改檔案,必須知道環境提供的是哪種編輯工具,以及工具需要什麼格式。如果反覆用錯指令,即使模型懂得修程式,也可能把時間花在無法執行的動作上。

這次的做法,是讓模型在原本的工具環境裡練習。研究者選用 pi、opencode 與 Hermes,保持這些代理工具本身不修改,再訓練分別配合它們的調整參數。

訓練使用強化學習,也就是讓模型多次嘗試任務,再依可驗證的結果回饋,調整未來較可能採取的動作。這與先整理一批示範答案、只教模型照著寫,有不同的學習訊號。

每個模型搭配每個工具環境,各有一份專用 adapter。因此,某份調整能否帶到自己的工作站,取決於底層模型與工具是否配對,不能只看檔案很小就任意套用。

同一題為什麼要做八次?

這輪配方讓每個任務產生八次嘗試,再比較同組結果,讓完成與失敗之間的差異成為學習訊號。若一題每次都成功,或每次都失敗,就比較難從同組嘗試取得有用的差別。

因此,訓練資料除了公開工作紀錄,還混入資料分析題,並增加中等與困難題的比重。這個安排是在調整可學到的訊號,並不表示題目越難,最後就一定越接近日常需求。

任務的執行與模型更新也不必同步等待。研究流程會捨棄落後過多版本的嘗試,避免參數已經改變很久,還拿舊模型的行為當成當前訓練依據。

官方在這次公告前已釋出初版調整,本次新增模型、任務與防作弊環節,並公開完整訓練。它延續先前多環境學習的問題,但交付的是更具體的可下載調整與配方。

一個模型對應多個工具環境後,能否共用底層模型,就會影響訓練成本。

Harness adapters 官方訓練圖,列出 Hermes、pi、opencode 與三個模型的組合。
Harness adapters 官方直播訓練示意。來源:Hugging Face。
官方公告影片,展示本次更新的工作介面與使用情境。 來源:官方原始貼文。

一個底層模型,多份 LoRA 調整如何共用?

每個環境保存一份小型調整,可讓多個訓練程序共用同一套底層模型服務。因為最佔記憶體的原模型不必重複載入,研究者就能把不同工具的訓練放在同一個服務後面。

這次主要模型是 LFM2.5-24B-A2B 與 LFM3-1.7B,另加入 TwIL-8B 作為實驗。名稱中的數字反映模型規模,但不能只用規模直接推定它完成代理任務的能力。

TwIL-8B 在文章中被描述為沒有接受代理資料訓練的推理模型。加入它,是想了解原本不熟悉工具工作的模型,是否也能從這類訓練得到可觀察的改善。

訓練端以 vLLM 提供模型服務。vLLM 是負責載入模型、接收請求並產生回應的工具,三個訓練程序以各自的調整名稱發出請求,因此不會把不同環境學到的參數混在一起。

每次更新完成,新版本調整會加入服務,已經開始的請求則繼續用舊版本完成。這樣不用每更新一次就停止整個服務,適合處理代理任務長短不一的情況。

代理也不會一直等模型吐字。它需要在隔離環境執行指令、讀檔和跑測試,因此不同訓練程序可以輪流利用運算資源,降低各自等待時的閒置。

不過,小型調整不表示整個過程可以直接在一般筆電訓練。官方這次使用 HF Jobs 雲端工作,LFM3 搭配兩張 H200,其餘模型搭配四張,仍是需要專門算力的實驗。

成本較容易負擔後,還得確認模型學到的任務能否代表日常工作。

270 個任務從哪裡來,資料偏斜會影響什麼?

這次把公開代理工作紀錄改造成可重現的題目,但資料仍明顯偏向從零建立小型程式。Repo2RLEnv 專案的用途,是把既有工作過程轉成可以再次執行與驗證的環境。

工作紀錄不只有最後答案,還包含使用者需求、代理回應、工具呼叫與輸出。研究者可以沿著它重建檔案,找出某個檢查原本失敗、修改後通過的片段。

這讓修錯題目有明確依據。模型需要修好實際的失敗,而不是只寫一段看似合理的說明,評估方式也比較接近程式代理會遇到的工作。

但其他任務仍需要額外建立考題。文章指出,多數建立與擴充專案的任務,會用教師模型產生介面要求與隱藏測試,再用原工作紀錄中的完成版本檢查題目是否合理。

教師模型產生的測試不能直接當成答案。研究流程要求參考解法能重複通過,空白專案與只有介面的版本會失敗,並檢查測試能否抓到刻意加入的錯誤。

這種安排降低了測試太弱、隨便做也過關的風險,但任務組成仍會限制結論。此次公開的 270 題中,253 題是建立程式、11 題修錯、6 題擴充,沒有通過篩選的問答題。

建立程式因此約佔 94%。如果自己的日常工作主要是維護大型舊專案,這個分布就提醒我們,整體成功率不能直接代表長期維護能力。

來源也很集中,270 題有 243 題來自同一套公開工作紀錄。因此,即使題目經過嚴格驗證,仍可能帶有原資料的任務類型與工作習慣。

研究者將其中 230 題拿來訓練,40 題保留測試,另有 150 題資料分析任務保留評估。保留題不參與訓練,目的是觀察模型能否處理沒直接練過的任務。

這能避免把訓練題成績當成進步,但保留題與真實工作之間仍有距離。若團隊自己的任務更長、需要更多工具,仍應保留另一組符合實際需求的題目。

題目可以重做仍不夠,獎勵規則還要處理模型直接找答案的捷徑。

safeagents 怎麼阻擋捷徑,為何仍需要沙箱?

safeagents 在工具指令執行前比對規則,把明確作弊嘗試改成失敗訊號。它是一個放在模型服務與代理工具之間的代理伺服器,檢查模型準備要求工具做什麼。

例如模型想讀取測試答案、改動評分檔案,或繞過環境的網路限制,規則就可能擋下該動作。safeagents 原始碼公開了這類檢查與資料清理工具。

被擋的指令不會執行,代理收到一則說明原因的訊息,整次嘗試得到零分。因為這個結果也進入訓練,模型不能靠拿到答案的捷徑累積正向獎勵。

官方分享了一個早期觀察,TwIL 在還沒更新參數的初始步驟,就試圖尋找任務來源的公開資料位置。規則因此從第一步便啟用,並非等模型出現異常才補上。

這次主要使用規則判定,而非讓另一個模型自由判斷所有動作。好處是同一個指令有一致結果,也能較清楚回溯為何被擋。

規則仍可能誤傷正當工作。作者原本比對過寬的評分檔案名稱,卻碰到另一類任務本來就需要建立同名程式,後來才縮小到特定位置。

這個例子說明防作弊需要理解任務內容。只要把可疑字串全部擋掉,就可能讓原本正確的動作也得零分,訓練結果反而失去意義。

因此,規則檢查與隔離執行環境仍要一起使用。前者辨認已知的捷徑,後者限制指令能接觸什麼,兩者都不足以單獨證明所有生產工作已經安全。

防護是否改變答題成績,也必須和任務成功率放在同一個評估中看。

公開訓練怎麼讀,5 美元數字代表哪一段?

這次最有用的是可追蹤的檢查點與測試口徑,單次便宜的評估不能代表整個訓練成本。公開儀表板列出訓練獎勵、保留題成功率、工具呼叫與防作弊事件。

檢查點是訓練途中保存的一版參數。每隔一段時間重新測試,就能看見某次更新是否讓任務做得更好,而不是只挑最後一版報告。

官方的 5 美元案例,指一個 LFM2.5 評估工作載入九份檢查點,在單張 H200 上執行合計 1,350 個代理工作階段,不到一小時的 GPU 費用。

作者估計,若把每個調整分別合併成完整模型,再依序載入服務,同樣的比較約需 90 美元。差距來自評估方式與模型共用,不是每位使用者都能用 5 美元訓練完自己的代理。

防護效果也有統計範圍。一次 50 步、pi 搭配 LFM2.5 的比較中,開啟防護對保留題單次成功率的差異為零個百分點,誤差範圍為正負 4.1 點。

這表示該次比較沒有看出明確的成績下降,卻無法證明所有模型、任務與規則都沒有代價。若自己的工作被規則誤擋,仍會直接影響成功率。

本次完整訓練分別規劃 200、400 與 300 步,文章先報告的是小規模試跑觀察,工具呼叫變少且正確率維持或改善。正式結果應沿著後續檢查點閱讀,不能提前寫成全面超越。

把成本與成績分清,才知道自己的團隊該先下載比較,還是投入訓練。

延伸閱讀:Hugging Face 多框架強化學習:同一個 AI 模型,換工作工具為什麼就變了?

延伸閱讀:Hermes Advanced Delegation 新外掛:子代理選模型與設定檔,權限怎麼跟著走?

Harness adapters 常見問題

可以拿來調整任何商用模型嗎?

這份配方需要可訓練的底層模型與相符的工具環境。只有遠端模型介面、拿不到需要的模型參數時,不能直接照這套方式掛上自己的調整,仍須看供應商提供哪些自訂能力。

少呼叫幾次工具就代表比較好嗎?

必須先完成任務,減少呼叫才有意義。這次獎勵中的工具效率加分,只出現在正確完成的嘗試,避免模型單靠提早停止就取得較高分數。

自己的工作紀錄能拿來做題目嗎?

官方提供把紀錄清理後轉成環境的流程,但有紀錄不代表能生成有效題目。仍要重建執行環境、取得可檢查的完成標準,並確認答案與敏感資料沒有混入訓練入口。

先比較自己的任務,再決定是否投入訓練

已有開放模型代理的團隊,可以先用相同底層模型比較專用調整,並保留自己的驗證題目。這比只看較少的工具呼叫,更能確認改變是否符合實際工作。

值得追蹤的是公開配方如何把模型、工具環境與可驗證任務接在一起。先從儀表板選一組與自己相近的模型和代理,讀完它的保留題表現,再決定是否把日常紀錄變成下一輪訓練資料。

Read more