Sakana Agentic Scientist 開源：讓程式代理做實驗，為何科學研究仍要先訂標準？
Agentic Scientist 把現成程式代理放進明確研究流程，以預先評分、共用記憶與消融建立證據。本文解析 Sakana AI 的開源架構、官方案例，以及人類研究者需要負責的工作。
Agentic Scientist 是 Sakana AI 新公開的研究架構，讓程式代理平行測試假設，再把實驗結果整理成研究者可以檢查的證據。
會寫程式的 AI，已經能修改模型、調整參數並反覆測試。但研究者想要的通常不只是分數提高，還包括改善原因、適用條件，以及換一批資料是否仍有效。
這正是 Sakana 這次想補上的缺口。官方指出，直接把研究題交給程式代理，容易得到擅長調參的工具，想法卻未必變廣，也未必解釋成功原因。
新架構因此把研究流程寫明，規定代理看到什麼、留下哪些紀錄、如何被評估，再把成果交給下一個階段。這讓研究中的選擇更容易追蹤。
對已經有研究問題、測試資料和計算資源的團隊，它值得當作擴充實驗的工具。若連成功標準都還不清楚，先讓代理大量跑程式，反而可能累積很多難以解讀的結果。
要理解這項開源成果，先看它如何把「做出更高分的程式」推進成「知道為什麼有效的實驗」。
Agentic Scientist 如何把寫程式變成實驗？
它把現成程式代理包進一套研究架構，讓每次工作都有問題、產出與評估方式。根據 Sakana 官方研究介紹，這套架構會控制代理取得的資訊及各階段之間的交接。
程式代理是能讀寫檔案、執行程式與使用工具的 AI。因為它可以反覆修改並測試，研究團隊能把部分重複工作交給代理，但仍要決定什麼結果值得追下去。
把研究目標寫成可檢查的問題
例如你想改善文件檢索，就先指定資料範圍、比較方法與成功條件。若只要求「做得更好」，代理可能挑容易的測試、縮小問題，或做出難以延伸的改動。
相反地，若事先規定新方法要在未看過的文件上改善檢索，還要保留原本速度，代理的搜尋方向就會比較清楚。因為取捨已經說明，研究者也比較容易比較不同方案。
這裡的價值不是把所有研究都變成固定表格，而是讓探索過程留下可判斷的依據。遇到不符合預期的結果，團隊才知道原先假設哪裡有問題。
研究者仍要決定問題與證據標準
官方用 Co-Discovery 描述人與代理的合作，也就是共同發現。人類負責設定問題、證據標準和方向，代理則擴大可以執行的實驗數量。
這種分工特別適合已經有專業判斷的研究團隊。因為代理產生更多候選之後，最稀缺的工作可能變成判斷哪些差異有研究意義，而不是再多跑幾個版本。
如果一項結果只是對某個測試集表現較好，研究者仍要問它是否利用資料特性。這個問題需要方法與領域知識，不能由漂亮分數直接回答。
預先評分、共用記憶與消融各有什麼用？
這三個設計分別處理方向、經驗與原因。先知道要怎麼評分，代理才不容易在實驗後改寫目標。留下失敗紀錄，則能減少重複走過的路。
官方流程會讓平行工作者依預先定義的標準測試假設，並透過共同記憶分享成功與失敗，再對勝出的程式做消融實驗。
共用記憶需要保留失敗條件
只記錄成功方法，容易讓下一個代理不知道哪些做法已經試過。因此失敗紀錄至少要包含當時改了什麼、在哪個條件失敗，以及是否值得重跑。
例如某個方法只在短文件上有效，這個限制應和分數一起交接。因為下一輪可能改用長文件，若只看到「效果很好」，就可能把局部結果當成通用結論。
對研究者來說，可追溯的紀錄也方便中途介入。你不必讀完所有代理對話，就能從假設、改動和測試輸出知道探索進度。
消融實驗用來拆解改善原因
消融是把方法中的某個組件拿掉，再看效果如何變化。例如同時加入資料清理和新的檢索策略，就分別測試缺少其中一項時的表現。
因為一次改很多地方，很難知道功勞來自哪裡，所以消融能讓研究從「這個版本比較高分」往「哪個機制帶來改善」前進。
但拿掉組件後分數下降，也不一定說明它在所有條件都重要。仍要看樣本、隨機性和其他組件互相作用，才能界定適用範圍。
官方案例能支持多大的結論？
官方介紹包含人類共同主導的研究，以及較自主的實驗案例，兩者需要分開理解。因為人類介入程度不同，不能把共同研究的成果全部歸給 AI 自動完成。
Error Diffusion 是受生物學啟發的學習方法，研究神經網路能否用不同於常見反向傳播的方式學習。
在這項研究中，Sakana 說明研究者設定問題與評分準則、選擇方向，並在提交前核對結果、引用與主張。這顯示系統可以支援研究，但並未省去專業審查。
從 52% 到 98% 要連著測試範圍一起讀
Doc-to-LoRA 將文件資訊轉成小型模型調整組件，目的是讓模型運用文件內容。
官方也公布這個方法的合成多目標檢索測試，答案完全匹配的正確率由 52% 提升到 98%。這是從人工構造的長內容找指定資訊，不是一般真實文件理解的通用準確率。
這項改動針對的是多份文件資訊合併時互相干擾的問題。官方描述，新方法先看到問題，再選擇相關的轉接組件，並調整文字選擇與切段方式。該案例沒有增加可訓練參數，也沒有重新訓練。
52% 到 98% 相差 46 個百分點，但這個差額仍屬於上述合成測試。官方明確寫出，自然文件與更複雜問題的泛化尚未測試，所以還不能用它推論公司文件、合約或研究論文也會得到相同進步。
若你的資料是掃描表格、長篇合約或不同語言文件，就需要另外驗證。因為資料格式與問題類型改變後，原本的改善可能縮小，甚至出現新的錯誤。
這類案例最適合拿來理解研究方法如何被測試，再設計自己的比較。若只摘出最高百分比，反而會忽略真正有用的條件資訊。
高分候選也可能沒有遵守原來的研究問題
Error Diffusion 案例曾出現分數高、卻違反預定學習規則的候選，由人類檢查後抓出問題，團隊因此收緊評估準則。這說明評分程式本身，也需要回頭對照原先想研究的機制。
若只保留最高分，這種偏離目標的版本反而可能成為下一輪基礎。研究者真正要守住的，是哪些改動仍算在同一個問題裡，分數只能在這個範圍內協助選擇，不能替代範圍本身。
評閱分數與科學正確性仍是不同證據
官方整體評估涵蓋五個研究任務、九個模型與四種代理執行架構，實際選了十四種模型與架構組合，共七十次研究流程。這不是把九乘四的所有組合都測過，不能拿來宣稱每一種搭配均已驗證。
每次流程使用二十輪想法迭代，讓探索次數較容易比較。但不同任務需要的運算資源不同，相同輪數不等於相同設備、費用或完成時間，採用者仍要另外估計自己的工作量。
官方另用 AI Reviewer 評估生成論文，並把分數視為論文品質的參考指標，而非科學正確性的真值。文章寫得完整、評閱分數提高，仍需回到程式、原始結果與主張逐項核對。
科學圖也需要可修改的來源檔
Sakana 同時公開 AutoIllustrate，用來建立科學圖像，並保留可編輯的 draw.io 檔。這個設計回應一個常見問題：圖看起來很完整，但箭頭、文字或邏輯需要修正時，是否能改得動。
對研究圖來說，來源檔和實驗程式一樣值得保存。因為審稿可能要求補充或更正關係，只有一張平面圖片，就會增加後續重畫的成本。
因此，圖像自動化的價值也應看修改能力。能讓研究者校正內容，才適合放進需要反覆審查的學術工作流程。
程式、結果與圖像都有可檢查的來源後，團隊就能用同一個小題目，確認整套研究過程是否可重現。
研究團隊如何從可重現的小題目開始？
第一個試驗最好有既有方法與已知結果可以比較。因為新題目同時存在很多未知，若沒有基準，就很難判斷代理到底發現了什麼。
可以挑一個資料集固定、執行時間可控制的問題，先重現現有結果，再允許代理提出有限範圍的改動。這樣一來，第一輪就能測出環境、紀錄與評估是否正常。
先把預算與停止條件寫進任務
平行代理可以同時做很多實驗，也可能同時消耗大量運算。若沒有上限，團隊會在看到結果之前就用完預算，因此應先指定可用時間、資源與重試次數。
停止條件也不應只有「找到好結果」。例如連續幾次沒有改善、資料異常或測試失效，都應中止並回報，避免代理在錯誤基礎上持續探索。
下面是一個研究試作可以事先留下的紀錄框架。
| 階段 | 事先決定 | 應保留的證據 |
|---|---|---|
| 問題設定 | 研究假設與適用範圍 | 假設文字與資料版本 |
| 執行 | 可改範圍與資源上限 | 程式版本、執行設定 |
| 評估 | 指標與比較方法 | 原始輸出、失敗案例 |
| 結論 | 哪些結果值得追查 | 消融與人工核對紀錄 |
表格中的最後一列，讓研究者有機會把分數重新接回問題。因為研究目的不是累積最多版本，而是提出可以被其他人檢查的解釋。
把未使用的資料留到後面驗證
若代理反覆看同一組測試資料，就可能逐漸迎合那組資料的特性。因此可以先保留一部分資料，等方法確定之後再測，檢查改善能否延伸。
也應安排人閱讀最成功與最失敗的案例。平均數可能掩蓋少數嚴重錯誤，尤其在科學任務裡，一個不合理結果有時比整體分數更能揭露方法問題。
交付時保留人類做過的選擇
共同研究需要記錄人類在哪裡設定方向、挑選結果或修正主張。因為這些選擇會影響研究成果，也讓後續讀者能理解 AI 的實際角色。
官方開源 AI-Scientist-v3 程式庫，提供了探索起點。但直接執行專案之前，仍應先確認環境、費用與資料用途，再用小任務測通整個流程。
延伸閱讀
延伸閱讀：OpenAI 公開 722 份 AI 數學稿件：372 組成果與 Lean 驗證怎麼看？
延伸閱讀：Claude Mythos 5 設計量子電路：更少閘與量子位元，研究成果怎麼看？
Agentic Scientist 常見問題
可以讓 AI 完全自己選題並投稿嗎？
這次官方強調人類定義問題與證據標準的共同發現。即使系統能產生研究內容，引用、主張和投稿責任仍需由研究者確認。
平行實驗越多，結果一定越好嗎？
不一定。若評估方式有偏差，更多實驗只會更快找到迎合偏差的方法，所以先確認標準比增加數量重要。
一般開發者也值得看嗎？
值得參考其紀錄與驗證設計。即使不做學術研究，也可以借用先定義成功、保存失敗和拆解改善原因的方法，讓程式實驗更容易比較。
讓更多實驗回答同一個清楚問題
Agentic Scientist 的重點，是把代理的執行力放進可追蹤的研究過程。對研究團隊，先建立問題、評估和可重現紀錄，才有辦法把更多運算轉成有意義的發現。
從一個能重現的小題目開始，記錄人與代理各自做過的選擇。想追蹤 AI 研究工具與實際方法，可以免費訂閱 AI 郵報。
