RSIHub 開源代理演化框架：最高提高 13.5 個百分點，如何查出改進來自哪裡？
RSIHub 用共用流程比較代理自我改善方法，把可改資源與評分紀錄分開。解析固定配方、MiniSWE 56.2% 到 69.7% 的條件、保留題退步，以及開源框架不等於惡意程式隔離。
代理改了提示詞與工具流程，測試分數就變高，還不足以知道它真的改進了哪裡。RSIHub 想把版本、評分與執行條件一起保存，讓不同改善方法可以比較。
研究團隊在二〇二六年十月二十三日提交的論文，把選擇前代、試跑、修改、評估與保留結果安排成共用流程。研究者用配方選擇各步方法，不必每次重寫整個實驗系統。
這裡主要演化的是提示、技能、工具或工作編排，沒有每輪重新訓練語言模型權重，也就是訓練完成的核心參數。評分器與正式紀錄則由框架管理，放在候選版本不能任意修改的位置。
作者在指定設定中把 MiniSWE 的單次通過率從 56.2% 提高到 69.7%，但其他起點與任務的排序不同，部分保留題甚至退步。
我的判斷是，它適合研究「哪個改法在什麼條件有效」，不能把最高增幅當成自我改善必然成功。它也不等於能安全容納敵意程式的完整隔離環境。
先看共用流程如何把改法與實驗條件分開，才知道分數、保留題與版本紀錄為何要一起讀。
RSIHub 演化的是什麼，配方如何組合方法？
配方把選擇、試跑與修改等步驟接成實驗流程，宣告可改資源與可見回饋，框架另提供執行和證據服務。它讓研究者比較怎麼改善代理，而不必連版本管理與評分流程都重新做一遍。
依 RSIHub 論文，主要可改內容包含提示詞、技能、工具與工作編排。模型權重是訓練完成後可下載部署的核心參數，這些實驗沒有把每輪修改都當成重新訓練權重。
必備操作包含選擇前代、試跑、修改、收納關卡與記錄。前代是下一次修改的起點，收納關卡則決定新版本是否值得延續。把兩者分開，才能避免只要改過就自動成為下一輪基準。
研究者可以再加入分析、驗證、新穎度或反思等選配元件。它們改變如何尋找改善方向，但不應暗中改掉共同評測條件，否則比較結果就難以歸因。
論文把 AHE、Hyperagents、A-Evolve 與 GEPA 等方法接進共同框架。這些是依框架做的適配，並非逐位元相同的原始實作，因此結果應看成共同條件下的比較，而非替原專案所有設定重新排名。
框架也容許代理在外層修改配方，但本文實驗使用固定配方。這表示公布的成績不能被說成系統已在實驗中自主改寫整套研究方法，固定比較與更開放的演化仍是不同範圍。
改法可以互換之後，還要防止連評分條件也一起被改掉。
候選版本、評分與保留紀錄，如何保持可追溯？
框架先檢查實際檔案差異，再以乾淨提交執行受保護評估，把結果綁回候選、父版本、配方與評測條件。這讓每個分數可以找到對應的實際內容，不只是一行代理自己回報的成功數字。
檔案差異檢查會確認修改是否落在允許範圍。即使代理說只改提示詞，系統仍應看真正變動的檔案，因為工作目錄裡多出一項設定，也可能改變測試走法。
乾淨提交則讓評測從已記錄的版本執行，而不是混著未保存的暫存內容。提交可理解為版本快照，能固定當時檔案狀態，讓後續檢查知道究竟是哪一版得到那個分數。
正式評分與認證記錄放在候選版本不能任意寫入的位置。候選可以提出改善，卻不能同時自行改寫正式分數。這是讓「成績提高」有可核對證據的核心分工。
收納關卡使用評測結果決定是否接受新版本，不把接受與否偽裝成重新計算分數。若候選沒有通過，拒絕與失敗歷史也應留下來，避免只看成功版本時誤以為每一輪都有效。
配方也需要明示修改者能看哪些回饋。如果一個方法能讀到完整失敗紀錄，另一個只能看總分，即使用同一底層模型，能用來找方向的資訊仍然不同，不能把差距全算成修改策略本身的效果。
這些連結讓研究者能追問：改了哪個檔案、從哪個前代開始、用了哪個評分器、在什麼條件下被接受。少掉其中一項，就可能把條件改變誤認成代理能力進步。
評分完成不等於版本一定值得延續，訓練回饋、收納關卡與保留題因此要分開。
三種任務分割，為什麼不能只看整體分數？
訓練題提供修改線索，關卡題決定版本是否能成為前代，封存題只做未參與修改的成效報告。封存題沒有把答案回傳給演化過程，才能幫助檢查新版本是否只適應看過的題目。
Terminal-Bench 2 的八十九項工作，分成五十項訓練、十九項關卡與二十項封存。銀行服務的九十七項，則分成五十項訓練、二十項關卡與二十七項封存。
兩套分割數量不同，所以跨任務看百分比時需要留意分母。封存題只有二十或二十七項，一項工作成敗就會帶來可見變化，不能把小幅差異讀成已對整個領域穩定改善。
訓練題讓修改者看見錯誤與回饋，關卡題雖不提供同樣線索，仍會影響哪些版本留下來。它們都參與了選擇，因此最後還需要另一組未參與選擇的題目看轉移效果。
論文表一還有一個容易讀錯的地方：各分割欄位以該組通過數除以全部任務數，並不是該分割自己的通過率。因此各欄可以共同組成總分，但不能直接把某欄當成封存題內的成功百分比。
如果想知道一個方法是否只記住了反覆出現的錯誤，應同時看修改可見部分、版本選擇部分與最後封存結果。整體進步而封存退步，代表需要重新檢查改進到底轉移到哪裡。
這套分割讓整體進步的來源可被拆開，接著才看最高十三點五個百分點出現在哪個設定。
56.2% 到 69.7%，換起點與工作後仍一樣嗎？
最大改善出現在固定 GPT-5.4 設定的 MiniSWE 與 Terminal-Bench 2，其他代理和銀行任務並沒有相同排序或增幅。這個條件限定，決定了十三點五個百分點不能當成框架的通用保證。
研究使用 MiniSWE 2.4.5 與 Codex 0.143 作為兩個起點，任務執行固定 GPT-5.4 high，負責提出修改的 Codex 則用 xhigh。推理強度不同是實驗設定的一部分，不能只留下模型名稱。
每個任務只嘗試一次，演化最多十代，每代一個子版本。這限制了搜索預算，也讓比較有明確範圍。如果另一套實驗多試很多版本或多次重跑，就不能視為同樣條件。
在 Terminal-Bench 2，MiniSWE 從 56.2% 提高到 69.7%，Hyperagents 與 A-Evolve 適配都達到這個結果。改用 Codex 起點，基準已是 69.7%，AHE 適配提高到 71.9%，增幅只有二點二個百分點。
這裡的通過率採單次嘗試，和讓同一題重試多次、只要其中一次成功就算通過不同。若實務流程會重試，費用與成功率都要另記，不能直接借用單次結果推算整批交付成本。
這表示起點本身會改變可改善空間。不能看 MiniSWE 的最大增幅，就推定較強起點也有相同空間。方法排序也要和任務、起點、可改資源一起看。
銀行工作則出現不同取捨。MiniSWE 整體 27.8% 提高到 Hyperagents 的 33%，但封存部分反而低二點一個百分點。AHE 整體為 28.9%，封存部分低四點一個百分點。
Codex 的銀行結果從 24.7% 到 AHE 的 34%，增加九點三個百分點。這與 Terminal-Bench 2 的最佳方法不同，支持研究者檢查方法適用條件，而不是把一個名字當成所有代理的標準改法。
不同分組的退步，也提醒研究者檢查執行變異與中途失敗是否改寫了證據。
中斷恢復與四百二十次邊界測試，驗證了什麼？
研究測了特定中斷和越界寫入情境，結果支持那些生命週期邊界的完整性，並非全面安全或執行等價證明。生命週期在這裡是一次修改如何建立、評估、接受或失敗後恢復的過程。
邊界測試包含七種情境、每種兩個實驗活動、各三十次，總計四百二十個結果。作者報告結果符合預期，重點是特定流程能否維持記錄與權限分工，不是模擬所有攻擊者的全部行為。
中斷恢復的價值，是避免任務執行到一半就失去版本與評分關係。例如評分已完成但記錄尚未整理時中斷，恢復後需要辨認現有證據，而不能把不完整狀態誤當成新的一次成功。
這也讓失敗本身成為可檢查資料。若只刪掉中斷的工作再重跑，研究者可能看不到哪個方法更容易產生無法完成的候選。保存失敗歷史，才能把穩定性納入比較。
論文另做三次重複的執行保真度測試，和單次演化實驗分開。直接執行的不同結果仍有約 12% 至 18.9% 不一致，顯示任務本身存在變異，不能因為流程固定就假設每次結果相同。
演化比較本身只有指定預算的一次流程，因此它能展示方法在這次配置找到什麼版本，尚不能完整刻畫每個方法長期反覆搜索的分布。這也是需要同時保存候選與選擇歷史的原因。
這些檢查支持版本證據更容易追溯，卻沒有消除模型隨機性，也不是各執行模式統計等價的證明。若要確認某個小幅增分穩定，仍需在相同條件做足夠重複。
保存實驗證據的保護與阻止敵意程式傷害主機，是不同責任。
開源之後，研究團隊仍需控制哪些範圍？
專案提供配方、操作元件與檢視工具，但可修改操作元件仍可能在主機執行，評分保護不能代替外部隔離。操作元件是實際負責選擇、修改或執行的程式，權限取決於它運行的位置。
截至二〇二六年十月二十七日，RSIHub 官方程式庫以 Apache 2.0 公開框架、文件與配方。這讓研究者能檢視和調整流程，不表示每個接入的工具、資料與評分服務都自動採相同條款。
框架依賴可信主機、檔案系統、版本工具、摘要值與外部評分服務等條件。摘要值是用來辨識內容有沒有改變的指紋，若承載這些機制的環境本身不可信，證據鏈也會受到影響。
任務容器可以隔開部分執行範圍，但整個框架還包含會在主機執行的元件。若候選能碰到外部服務，版本回復也無法自動撤銷已送出的請求或已改動的外部資料。
因此，我會把這套工具用在有受控資源與明確預算的改善實驗，先固定模型、題目與執行條件，再只換一個元件。這樣看到增分時，才有較清楚的依據追查改進來源。
可以連同封存題與失敗歷史比較，再決定改進是否值得延續。若只有可見題提高、未見題退步，就先縮小結論，檢查方法是否只適應眼前測試，而不是急著讓新版本接手全部工作。
延伸閱讀：Self-HPO 讓程式代理改流程再訓練自己：57.8% 到 64.8%，改善來自哪裡？
延伸閱讀：Harness² 開源：Google 讓 AI Agent 自己調整工具與工作流程，能改善什麼？
常見問題
RSIHub 會自動重新訓練模型權重嗎？
本文實驗主要演化提示、技能、工具與工作編排，並沒有每輪重新訓練模型權重。框架可改範圍由配方與資源政策決定。
RSIHub 的最高 13.5 個百分點可套到所有任務嗎？
它出現在指定 GPT-5.4 與 MiniSWE 的 Terminal-Bench 2 設定。其他起點和銀行任務有不同排序，部分封存結果還退步。
