DeepRSI 評測公告解析：讓 AI 做 48 小時研究，怎麼判斷真的有進步
DeepRSI 原作者提出48小時、源自進行中機器學習研究的評測。本文說明長時間研究代理應如何評估，區分實驗優化與遞迴自我改進，整理公開資訊與尚未披露的條件。
DeepRSI 在 X 引起注意，是因為它把 AI 研究代理的考試時間拉到 48 小時。
相較於看模型能否回答一道題，這種題型更接近研究工作：先嘗試、讀結果，再決定下一個實驗。
Hillclimb 的 jpark 於 10 月 12 日 UTC、台北時間 10 月 13 日發表原始公告，表示任務來自正在進行的專有機器學習研究。
他把 DeepRSI 稱為測量遞迴自我改進的新業界標準，但這是發起者的定位，還不是已獲廣泛採用的證明。
遞迴自我改進，簡稱 RSI，指改進能力進一步幫助系統繼續改進自身。讓代理優化某個模型，是接近這個研究方向的一種任務，卻不能只靠工作時間變長，就證明整個循環已經成立。
Garry Tan 的轉貼把未來十八個月比作早期飛行突破，並強調評測的重要性。這段前景判斷增加了討論熱度，但沒有新增實驗資料，也不能當成突破會在十八個月內發生的時間表。
我比較重視 DeepRSI 想提出的問題：當模型有更多時間做研究，我們怎麼知道得到的是更好的方法，而不是更多次碰巧成功的嘗試。答案需要實驗紀錄與可比較的條件。
截至 10 月 13 日，本次查覈可辨識的第一手資料是原作者公告與 Hillclimb 官方網站，上述來源未提供完整評測論文、題目清單與可核對的分數方法。現階段可先理解評測主張，再審視後續證據。
DeepRSI 的 48 小時把考試變成什麼樣的工作
jpark 的原始公告把既有評測描述為由貢獻者提供、約十二小時的較短任務，並提出 DeepRSI 的四十八小時設計。
這是對既有評測的概括說法，不能擴成所有研究基準都只有十二小時。
較長的時間讓代理有機會經歷完整的研究回合：重現起點、提出改法、執行實驗、讀取失敗、再修改。
這是設計可能帶來的價值，公告沒有列出每個任務必經的步驟，所以不能當成已公開的固定流程。
以一個假設情境說明，代理要改善分類模型，可能先確認原始程式能跑，再比較資料處理或訓練設定。若只給很短時間，第一次安裝和除錯就可能耗完額度，測到的是啟動能力多於研究能力。
給它更久之後，問題則轉向「如何分配時間」。代理是否會先做小實驗、保留中途結果、在無效方向停下來，會比單次生成一段好程式更重要。這些是採用長時評測時值得檢查的行為。
不過，四十八小時不能單獨代表等量研究資源。兩個系統若可用的 GPU、平行實驗數、模型呼叫次數不同，即使時鐘一樣，實際探索量仍可能差很多。
因此，未來讀 DeepRSI 結果時，除了完成時間，還需要看到計算資源與花費口徑。否則讀者無法分辨是代理更會研究，還是其中一組被允許做更多、更昂貴的實驗。
進行中的專有研究，優勢與代價同時存在
公告說任務來自進行中的專有研究，而非只採用現成公開題目。這種設計的吸引力，是嘗試讓評測接近真實團隊尚未解決的問題，而不是重做已經有標準答案的練習。
但「專有」也意味著外部讀者可能無法查看完整資料。若題目不能公開，仍需要足以審視的說明，例如任務種類、評分方式、資訊提供範圍，以及哪些限制對所有參與系統一致。
沒有公開題目，不等於評測沒有價值。重點是受限制的部分是否被清楚標示。公開排行榜、供應商內部測試和客戶私有評測，各有不同用途，不能只用同一個分數混在一起比較。
假設任務要改善公司的檢索模型，代理可能需要理解資料分佈、已有失敗案例和實際服務限制。
如果只拿到模糊需求，失敗可能是上下文不足。若拿到詳盡的人類研究筆記，則要把這份協助列入條件。
Hillclimb 官方網站說明，公司的方向包括彙集人類研究資料與擴大強化學習環境建立，並向前沿模型實驗室供應環境。
這提供研究方向的背景，沒有披露 DeepRSI 的實際題數或客戶採用結果。
因此不能把首頁的服務定位改寫成某家實驗室已用 DeepRSI 訓練出更強模型。公司希望環境能推進研究能力，與已有可複查的能力提升，是兩個不同層次的資訊。
「改善模型」與「改善自己」中間還有一段距離
研究代理可以改進很多對象：資料清理、訓練程式、推論速度、模型表現或實驗流程。這些都可能創造價值，但如果改的是外部任務，就不能自動稱為代理已改進自身能力。
要把結果連到 RSI，需要說明改進如何回到系統本身。舉例來說，若代理找到更好的研究策略，下一輪是否使用這個策略，且在新任務上表現更好，才有進一步檢查循環的方向。
這裡的「新任務」很重要。若一直看同一份驗證資料，系統可能只是逐漸貼合這份題目。能力提升應該在未用於選擇方案的條件下仍能觀察，才能降低只記住評分規則的疑慮。
另一個問題是誰把成果送進下一輪。若人類仔細篩選、整合並修復程式，這項工作值得肯定，但它屬於人機研究流程。要宣稱自主循環，就必須清楚計入人類介入。
同樣地，讓代理產生很多候選方案，再由人挑選最好的，與代理能自行辨識有效結果，也不是同一項能力。評測應同時查看提案、判讀和選擇，避免把最後留下的佳作當成整段過程都很可靠。
DeepRSI 原始公告沒有提供這些循環與介入細節，所以目前可確認的是它要測量相關方向。是否已實現多輪自我加速，仍需要後續資料，不能從名稱或轉貼者的預測補出答案。
延伸閱讀：三大 AI 實驗室傳出遞迴自我改進：官方數據證實了什麼，哪些仍是傳聞？
一份有用的研究成績，應該讓人看懂改進來源
若未來公佈模型分數，首先要確認起點。代理的結果是比未調整的基礎程式更好，還是比經過同等資源優化的人類方法更好？兩種比較都能回答問題，但不能互換名稱。
接著看終點的定義。準確率增加、訓練時間減少和記憶體降低，可能是不同目標。如果方法以更多計算換取些微準確率，應把代價一併呈現，讓使用者知道是否符合自己的限制。
假設一個方案驗證表現提升，卻使部署需求超過團隊的硬體能力，它依然可能是研究成果，但不一定是可採用成果。研究基準與商業決策之間，需要補上資源與環境的比較。
再來是結果的穩定性。一次較好的分數可能受隨機初始化、資料切分或訓練波動影響。若原作者提供多次執行與變異範圍，讀者就能判斷改進是否比自然波動更大。
最後要回到程式與紀錄。報告中的結果能否由保存的設定重跑，結論是否對應實際執行版本，失敗嘗試是否保留，會直接影響別人能否理解這個方法，而不只接受作者的描述。
這些是本文建議的評測閱讀方法，並不是聲稱 DeepRSI 已完成所有檢查。它們之所以重要，是四十八小時會累積更多嘗試，若只留下最後一個數字，反而更難看清進步是怎麼產生的。
長時間代理的另一張考卷：會不會浪費整段時間
長時任務除了看最佳成果，也應看失敗是否可診斷。代理若在第一小時就因資料位置錯誤卡住，最後得分低，與研究方向本身無效是不同原因。改善方法也會完全不同。
實務上可以把時間分為啟動、起點重現、候選探索與最終驗證。這是團隊自行設計測試時可採用的紀錄方式，並不是 DeepRSI 公告已規定的時間分配。
如此一來，兩個最後得分相近的系統仍可能有差別。一個很早找到方案、後面用於確認穩定性。另一個直到結束前才碰到好結果。前者可能更適合需要可靠交付的工作。
也要觀察代理遇到無法取得的資料時如何處理。可取的結果是記錄限制、調整可做的實驗，而不是編造缺少的輸入。研究報告如果把未取得的資料藏起來，文字完整也無法補救。
對管理者而言，這些紀錄可以用來決定代理適合接哪一段工作。若它擅長快速重現，可以先負責基準整理。若它善於穩定探索，再擴大到方案比較，不必一次交付整個研究計畫。
延伸閱讀：Anthropic 提升 AI 效率：兩階段架構如何讓 Claude 代理程式完成「長期複雜任務」
研究團隊現在可以怎麼使用這個消息
若你需要立即選模型，這則公告還不足以直接排名。較合理的做法，是把 DeepRSI 加入待追蹤評測，等任務範圍、資源口徑、結果與重現條件足夠清楚，再判斷與自己的工作是否相似。
若你正在建立內部研究代理，可以先選一個已有可靠基準的問題，保留程式、設定與結果。先確認代理能重現起點，再看它提出的改法，能避免把原本程式的錯誤修復誤認為研究突破。
這類試驗還需要一個明確的停止條件，例如預算耗盡、主要假說被否定，或成果已完成獨立驗證。停止規則讓團隊知道長時間執行是有目標的探索，而不是等模型一直嘗試到某次看起來成功。
我會更重視能清楚說明成功與失敗的評測，而不是預測奇點日期。
若 DeepRSI 後續能把真實研究問題與可審視的證據連起來，它才可能對模型選擇、訓練環境和研究分工產生實際價值。
先決定要比較的是哪一種研究能力
採用者也需要先界定自己要的成果。若重點是降低模型服務成本，就要把延遲、硬體與品質放在一起看。若重點是提出新方法，則更需要完整對照實驗，而不只是最後的商業效益。
同一個研究代理可能擅長其中一種，卻不擅長另一種。把需求寫清楚，可以避免看到高分就全面導入，也讓團隊知道下一次測試要補哪一種證據，而不是反覆換模型尋找更令人興奮的展示。
對公開評測也是如此：題型如果偏向已知管線優化，結果對工程改善很有用，但對發現全新理論的推論就有限。評測越貼近具體任務，讀者越能判斷分數與自己的研究工作有沒有關係。
常見問題
DeepRSI 已經是所有實驗室採用的業界標準嗎？
原作者把它定位為新業界標準，但公告沒有列出普遍採用或獨立驗證的證據。引用時應保留「原作者提出」的歸屬，不能把產品定位改成所有研究機構已接受的事實。
48 小時評測，表示 AI 能自主做完所有科研工作嗎？
不表示。時間只是其中一個條件，還需要題目種類、可用工具、計算資源、人類介入與成果驗證。機器學習研究上的能力，也不能直接推到實驗室操作或所有科學領域。
現在可以照文章安裝 DeepRSI 嗎？
本次查覈沒有找到足以核對的公開安裝指南或程式庫，因此本文不提供安裝教學。若後續公開程式，還要確認版本、資料取得方式和執行成本，再建立可重現流程。
評測的價值，在於讓突破能被辨認
DeepRSI 讓長時間研究代理的問題更具體：時間拉長後，如何衡量有效探索、可靠結果與後續能力。這是值得追蹤的評測方向，但目前應把它當作有界線的第一手公告。
後續判斷需要任務與資源說明、可比較結果、重現紀錄，以及改進是否轉移到下一輪。把這些證據補齊，才有機會讓「研究更久」成為「研究得更好」。
若你想持續讀懂研究代理的評測與採用條件，歡迎免費訂閱 AI 郵報。
