Meta RankEvolve 是什麼？讓 Claude Code 與 Codex 互查，AI 自動研究更可靠
Meta RankEvolve 把完整程式代理組合成研究流程，讓 Claude Code 與 Codex 互相檢查。本文解析可執行流程規則、推薦模型實驗與錯誤率，說明多代理研究如何避免漂亮分數掩蓋實作缺陷。
AI 可以提出研究想法，也能寫程式與跑實驗，但實驗跑完不代表結果可信。Meta 的 RankEvolve 研究，把 Claude Code 與 Codex 等完整程式代理放進同一套流程，讓它們交叉檢查工作。在相同預算的指定比較中，完整執行正確率由最佳單一產品的 45.8% 提升到 62.5%。
這篇論文近期在 X 的 AI 社群被分享，重要之處在於它把研究流程的錯誤當成核心問題。模型分數提高，可能來自真正改進，也可能來自資料洩漏、評估設定錯誤或程式沒有照規格執行。沒有把這些情況分清楚，自動研究只會更快產生不可靠的結論。
RankEvolve 透過可執行的流程規則、完整代理之間的互查與跨輪知識紀錄，試圖讓長時間實驗更可控。它仍有未解決的錯誤，也沒有證明 AI 可以取代所有研究者。本文會說明它如何安排代理、推薦模型結果代表什麼，以及團隊能借用哪些驗收原則。
自動研究最難的，可能是知道實驗真的做對了
機器學習研究常包含閱讀程式、提出假設、修改模型、執行訓練、評估與解釋結果。AI 程式代理能幫忙推進這些工作，但每一步都有可能出錯。某個修改表面合理，實際上卻可能切斷必要的計算，或讓評估讀到不該使用的資料。
資料洩漏指測試時用了原本不應提前取得的資訊，例如把保留評估資料拿去調整方法。這會讓分數看起來很好，卻不能證明模型在新資料也有效。自動流程如果只追求更高分，可能無意間把這種錯誤當成成功方向。
另一種問題是設定不一致。兩次實驗使用不同資料切分、不同訓練時間或不同評估程式，分數就不能直接比較。AI 可能把所有輸出整理得很清楚，但若背後條件不同，漂亮表格仍會導向錯誤結論。
RankEvolve 因此把執行正確性放在前面。它要處理的不是只有提出更好的模型，也包括讓每次修改按照既定規格完成，並在進入下一輪之前通過必要檢查。這讓研究品質從文字評論，延伸到實際程式與運行證據。
第一層：把研究規則寫成可以執行的流程
原始論文提出 EOP，完整名稱為 Executable Operating Protocol，可以理解為「可執行的工作流程規則」。它描述研究的階段、通過條件、分支與迴圈，再由運行系統控制流程。模型負責每一步內容，外圍程式負責是否能進入下一步。
這個安排有別於把一長段流程貼給 AI，期待它全程記住。文字指令可能在長任務中被忽略，可執行規則則把某些必要條件變成流程限制。比如先確認評估程式，才能開始解讀新模型結果，這類順序可以由系統控制。
通過條件也需要有清楚證據。若條件只寫「檢查沒有問題」，代理可能用一句肯定回答就過關。若要求保存測試輸出、資料版本與必要的比較，後續審查就有東西可看。流程規則的價值取決於它要求什麼，而不只取決於形式。
對一般工作也有類似啟發。寫報告可以要求先保存來源，再完成主張核對。處理帳務可以要求先鎖定月份與資料，最後核對總額。這是借用研究原則的示例，不是 RankEvolve 已經在這些業務中驗證的成效。
第二層：完整代理產品互相檢查
研究把 Claude Code、Codex 等完整代理產品視為工作節點。這些產品自己就有工具、流程與模型呼叫安排，RankEvolve 再在外層組織它們。可以把它理解為「使用多個完整工作系統協作」，比單純叫同一個模型扮演兩種角色更具體。
交叉檢查讓不同代理閱讀對方的成果，辨識實作與規格是否一致。這有機會發現單一代理未注意到的問題，也能降低一個系統一路肯定自己修改的傾向。但兩個代理仍可能共享盲點，因此互查不能取代工具輸出與明確驗收。
研究使用相同預算比較單一產品與組合方式，這很重要。若多代理使用兩倍運算，成績較好不一定表示協作本身有價值。控制預算有助於回答：把資源分配給互查，是否比全部交給同一個代理更有效。
| 組成 | 主要作用 | 仍需驗證 |
|---|---|---|
| 可執行流程規則 | 控制階段與必要條件 | 條件是否能反映真實正確性 |
| 完整代理互查 | 檢查另一個系統的工作 | 是否發現關鍵缺陷 |
| 知識層 | 保存跨輪結果與失敗 | 是否能追溯原始實驗 |
| 評估程序 | 比較方法與成果 | 資料與設定是否一致 |
這些組成需要一起運作。只有互查而沒有固定規格，兩個代理可能對不同標準爭論。只有規則而沒有實際證據，流程也可能形式上通過。RankEvolve 的研究價值，是把協作、控制與可追蹤的結果放在同一個系統裡。
第三層：把失敗結果也保存下來
研究包含知識層，保存不同輪次的發現，包含沒有成功的方向。對長時間研究，失敗紀錄很有用：某種修改已經試過、沒有改善，或曾經造成評估問題，下一輪就不必從頭重複相同嘗試。
這與只保留最高分不同。最高分告訴你目前哪個版本最好，失敗紀錄則告訴你為什麼其他方向不適合。若只記錄成功結果，代理可能以為所有未保存的想法都沒試過，繼續消耗訓練與工具預算。
失敗也應有條件。某次修改在一個資料集沒有改善，不代表它在所有任務都無效。保存時應包含模型、資料、設定與觀察，而不是一句「這個方法不好」。這讓知識能在新情境重新判斷，避免把有限結果過度推廣。
對人工團隊，這同樣是一種文件品質問題。會議決定、實驗記錄與程式版本若沒有連起來，換人後就容易重做。AI 代理把工作速度提高，也讓完整紀錄更重要，因為一段時間內可能產生更多候選與更多需要比較的結果。
論文中的 62.5%，不是研究成果完全可靠
研究報告的完整執行正確率，由最佳單一產品的 45.8% 提升至組合方式的 62.5%，增加約 16.7 個百分點。這表示指定評估中，有更多執行符合全部要求。它衡量的是指定研究流程是否完整遵守要求，與推薦排序品質是不同指標。
論文仍報告 10.4% 的沉默重大缺陷。這指某些關鍵問題沒有明顯失敗訊號，卻會影響結果可信度。這個數字提醒讀者，多代理能改善部分問題，但仍不能把運行完成當成研究正確。
| 指標 | 論文結果 | 正確解讀 |
|---|---|---|
| 完整執行正確率 | 45.8% 到 62.5% | 指定預算與評估中的流程改善 |
| 沉默重大缺陷 | 仍有 10.4% | 完成並不等於沒有隱藏錯誤 |
| 推薦模型 LARGE | NDCG@10 約增加 4.48% | 特定模型與資料集的相對變化 |
| 推薦模型 BASE | NDCG@10 約增加 2.80% | 另一模型規模的指定結果 |
NDCG@10 是評估推薦排序品質的指標，關心前十個推薦位置是否把較相關項目放在前面。它與一般分類正確率不同，數值不能直接讀成有多少人喜歡推薦。論文在 MovieLens-20M 資料集與 HSTU 模型上進行十二輪研究，成果需要放在這個設定中理解。
LARGE 的分數由基準約 0.2098 到 0.2192，BASE 則由約 0.1895 到 0.1948。這些改善提供了自動研究的實例，仍不代表所有推薦系統都會有相同收益。實際產品還需要用自己的資料、流量與指標確認。
團隊能怎麼借用這個思路？
先把流程分成可驗收的階段。研究、實作、測試與解讀應各有成果，避免代理一口氣做完後只交出結論。每一階段保留必要輸出，能讓另一個人或代理檢查，也能在出錯時定位問題。
再讓審查者取得原始證據。如果只看作者整理的摘要，可能看不到資料切分與程式差異。檢查應能讀到相關檔案、執行輸出與設定，並明確指出符合或不符合哪個條件。對具備寫入權限的工作，還要記錄實際改動範圍。
接著限制互查的任務。讓審查者同時檢查所有事情，可能導致重點不清。可以先聚焦資料洩漏、評估一致性與程式是否真的執行新方法，再視工作需求增加其他條件。清楚的檢查問題，比一句「幫我看看有沒有問題」更容易得到可採取行動的結果。
最後把負面結果連到版本。某次改動造成退步或缺陷，應能找到是哪個程式版本、哪次執行與哪份資料。這讓下一輪可以復用有價值的成果，也能避免把已確認有問題的做法重新當成新想法。
成本紀錄也要連到階段。若交叉檢查增加了模型呼叫，卻減少昂貴的錯誤訓練，完整成本仍可能下降。若任務本來很簡單，互查則可能只是增加延遲。團隊可以分別記錄代理運算、訓練資源、工具時間與返工，讓採用決定根據整項工作的支出，而不是單次回答價格。
另一個實用指標是問題被發現的時間。資料洩漏若在執行前就被攔下，與幾小時訓練後才發現，帶來的浪費不同。比較流程時可以記錄缺陷在哪個階段被找到，藉此判斷檢查是否放在合適位置。這比單純增加更多審查角色，更能幫助安排工作。
常見問題：兩個 AI 審查，就能取代研究者嗎？
RankEvolve 是一個新的大型模型嗎？
它是一套自動研究流程與代理組合方法，使用既有完整程式代理協作。研究中的推薦模型是實驗對象，與負責執行工作的代理不同。理解這個分工，才能分清楚流程正確率與推薦品質兩種結果。
Claude Code 和 Codex 為什麼要一起用？
研究評估不同完整代理產品的交叉檢查，希望利用它們不同的工作方式發現問題。效果來自指定的流程與預算比較，不能只因有兩個產品就預期相同提升。搭配方式、檢查標準與證據取得都會影響結果。
可執行規則能保證實驗沒錯嗎？
不能。規則能限制順序與要求證據，卻可能漏掉未預先想到的缺陷。研究仍報告重大問題，顯示完整驗收與人工判斷依然重要。規則應隨實際失敗更新，而不是一次寫完就永久可靠。
非研究團隊值得參考嗎？
值得借用階段驗收、互查與失敗紀錄的原則。一般報告、資料整理與軟體修改，都可以先建立清楚的來源與完成條件。但這是方法上的啟發，不能把推薦模型的實驗數字直接套用到其他工作。
結語：AI 自動研究的品質，取決於能否證明過程正確
RankEvolve 的重點，是把研究流程中的控制與檢查做成系統的一部分。完整代理互查提供另一種觀察，可執行規則維持順序，知識層保存跨輪發現。這些安排讓自動研究更有機會在長時間工作中維持一致。
對團隊而言，最值得立即採用的是保存證據與明確驗收。當每個結果都能追溯到資料、版本與執行過程，分數提升才更容易被信任。多代理可以幫忙推進研究，真正的品質仍需要由可核對的過程支持。
