ScientistTwo 科研代理解析：Google 把想法、實驗與審稿接成循環，成果怎麼驗
ScientistTwo 是 Google Cloud AI Research 的自主科研代理框架。本文拆解假說、實驗、消融與模擬審稿的工作分工，解讀86／107與驗證結果，說明研究團隊採用前要確認的條件。
ScientistTwo 在 X 上再次受到注意，是因為 Google Research 在會議展示裡，把 AI 分析論文與產生可執行程式的能力放在一起。
它想把一個研究問題往新的實驗結果推進，讓分析不只停在文字摘要。
這項研究來自 Google Cloud AI Research，論文於 9 月 17 日提交。
10 月 6 日的官方貼文是 COLM 會議展示資訊，因此應把研究首次公開與這次社羣分享分開看。
科研代理的難題，往往不是能否想出一個聽起來新穎的點子，而是怎麼知道點子有效。若沒有起點重現、對照實驗和結果驗證，再完整的論文也可能只是把猜想寫得很像成果。
ScientistTwo 值得關注的地方，是它把這些工作拆成不同角色，讓實驗結果和審稿意見能回到前面的假說。這套循環比單次生成文章更接近研究的實際節奏。
我的判斷是，研究團隊可以借用它的驗證結構，但還不能把「自主」理解成所有科學工作都不需要人。論文的題目範圍、基準來源和自動評分條件，仍決定這次結果能支持多大的結論。
對想導入 AI 的研究者，最有用的問題是：目前最容易出錯的環節在哪裡，能否先讓代理做好那一段。把實驗與文章接起來，前提是每項說法都有可以追回去的程式和輸出。
ScientistTwo 從研究問題出發，而不是先要求一篇論文
研究論文將框架定位為問題導向的自主發現：人類提供研究挑戰，系統分析既有方法的限制，再組織後續實驗。
這個起點很重要，因為論文是最後的表達，不是研究本身的目標。
一個好的問題應該能決定什麼叫進步。假設團隊想改善小型模型的檢索能力，需要先定義資料、比較方法與資源限制，否則代理即使找到較高分的做法，也可能偏離真正需求。
這是本文舉例的研究情境，不是聲稱 ScientistTwo 已在這個特定專案做過測試。
例子的作用，是說明「提供問題」仍包含人類的選題與範圍設定，不能把這項工作從成本裡刪除。
研究者也需要區分瓶頸：是資料不足、模型結構、訓練程序，還是評分方式。若把所有問題都交給同一段模糊提示，代理可能提出許多改法，卻沒有辦法知道哪個方向最值得探索。
因此，比起要求「寫一篇可發表論文」，更有用的輸入是現有基準、已知失敗、允許調整的部分，以及不能改動的條件。這些資訊讓後面的比較真正對應同一個研究問題。
想法與實驗分開，先決定值得花算力的方向
官方專案頁展示由想法產生、評估、分析與寫作審查角色組成的循環。
評估先在代表性子集篩選，再進入完整實驗，避免每一個猜想一開始就消耗全部資源。
這個設計可以理解為先做便宜但有辨識力的試驗。若方法連起點都無法重現，或在小範圍就明顯無效，就不必立即放大。但小範圍成功，也仍需要完整條件確認。
對研究團隊，關鍵是子集是否能代表真正目標。假設全部資料包含多種使用情境，卻只挑最容易的一類做初步篩選，代理可能淘汰適合其他情境的方法，最後得到偏斜的結論。
因此，小實驗的作用是決定下一步，不是替代最終驗證。保存篩選理由和失敗紀錄，能讓團隊看懂為什麼某個方法被放大，也能在結果不穩定時找到可能的選擇偏差。
實驗結果也應包含資源消耗。若新方法只是用更多訓練輪數換高分，可能仍值得研究，但要把額外時間與硬體列出，不能只把結果欄位變好寫成整體效率提升。
這種分工還能減少文字與數字混在一起的問題。想法角色提出可測試假說，實驗角色保存設定與結果，寫作角色再依這些材料說明，讓「相信會有效」與「已跑出結果」保持不同狀態。
消融實驗，讓代理回答到底是哪個改動有效
消融實驗指把方法中的某個元件移除或改變，觀察表現是否跟著變化。這種有目的的對照，讓改進來源變得可辨認，也讓研究者知道後續應保留哪些設計。
假設一個方案同時換了資料處理、模型結構與訓練規則，最後分數提高，仍不知道是哪個部分帶來效果。這時逐一拿掉改動，才能降低把所有元件都當成必要的風險。
對實務採用，這個答案甚至比最高分更有價值。若只有一個小改動真的有效，團隊可能不用重建整條管線。若多個元件必須一起使用，則要把整組依賴與維護成本算進去。
對照也要維持公平。移除一個元件卻同時增加另一組的訓練量，就不容易把差異歸給元件本身。團隊應保存可比較設定，讓結論能指出變化位置，而不是隻有一張結果表。
ScientistTwo 把這項分析放進循環，意義是讓實驗不只挑贏家，還能回頭修剪無效設計。
這是科研代理較有用的能力：從結果修正假說，而不是每次失敗都重新生成一個完全不同的故事。
模擬審稿可以找缺口，不能替代真實會議接受
框架還會讓審查角色對稿件提出批評，後續角色用補充實驗回應，再由總體審查判斷是否繼續修改。這讓評論有機會導向新證據，而不只是把句子寫得更有說服力。
舉例來說，如果審查指出缺少對照，合理的回應是新增對照並檢查結果，不是把原本的優勢句子改得更強。這種區分，正是研究寫作與一般文案修飾之間的重要差別。
不過，自動審稿的分數仍是代理評分。官方頁面的接受率與平均評分，不代表相同比例的文章已經被真實 ICLR、ICML 或 NeurIPS 委員會接受，更不能寫成 AI 在會議上全面打敗人類。
論文中以已接受的研究作為任務與比較背景，有助於設定較高起點。但已發表論文對應的實驗範圍，也可能比開放世界選題更明確，兩種難度需要分開描述。
多個審查代理也不等於沒有共同偏差。若大家根據類似模型、提示或資料判斷，可能一起忽略同一種問題。採用者應讓實際重跑、規格核對和人工研究判讀提供不同類型的證據。
延伸閱讀：Google 發布 DS-STAR：能自動寫程式、分析研究數據、繪圖與製表的最強多功能資料科學 Agent
86／107 的成果，應把比較對象放在數字旁邊
作者報告，在取自近期頂尖 AI 研究的 107 個問題裡，86 個取得超過原始人類方法的結果，比例為 80.4%。
這說明它在該任務集合的進展，不能解讀為所有科研問題都有八成成功率。
「超過」也需要回到各題指標。有些任務看預測品質，有些看其他研究目標，不能把不同指標加總成 AI 比人類科學家強多少。採用者仍要看與自己問題相近的範例。
這些成果的讀法，應先確認原始方法與比較條件，再看改進幅度。若只保留平均數字，某個極大改善可能掩蓋其餘任務的有限進展，讀者不容易判斷自己遇到的情境是哪一種。
官方頁面也展示重跑分數、規格遵循、引用存在與方法程式一致性的審核。這些檢查分別回答不同問題，不能只看某一欄全數通過，就推論整套研究在所有層面都沒有缺陷。
完整系統的審核表，以 49 篇檢查程式一致性與分數重現。這份審核結果代表該組文章，不能直接擴展成 107 個問題全都通過相同檢查。
可重現，代表別人能走回你的結果
程式能執行只是最基本的一層。若結果使用了不明資料版本、缺少權重或未保存的設定，別人即使成功啟動程式，也未必能得到論文裡的數字。
對研究團隊，應讓每個主要結論對應一份輸出：用哪個資料、哪次執行、哪些設定，與哪個起點比較。如此一來，文字編輯或後續重跑才不會把不同實驗的結果接錯。
引用存在也是另一層。書目裡的論文真的存在，只能排除虛構來源，還需要確認它是否支持被引用的說法。不能把「沒有不存在的引用」改寫成每個論證都已被外部證實。
方法與程式一致性則關係到研究透明度。假設文章說使用某種正則化，程式卻沒有啟用，結果即使可重跑，也不能支持文字中的機制解釋，這時需要修改程式或改正描述。
這些問題對人類研究同樣適用，AI 讓它們更迫切，是因為產出速度加快後，文章與實驗更容易累積版本差。把證據鏈提前建立，比最後靠審稿者猜測更有效。
自主研究仍然需要時間與費用
論文以來自 NeurIPS 2025 的 33 個問題分析成本，報告平均研究循環約兩至三天，平均費用為 3,765 美元，包含模型使用與虛擬機器。
這是該實驗條件的平均值，不能當成每篇研究固定報價。
這組數字提醒採用者，代理並不是按一下就免費產出成果。若團隊只需要確認一項小改動，可以先縮小實驗。若需要完整探索與補充驗證，則要為失敗方向和反覆執行保留預算。
團隊採用時，先接一段可以驗的工作
若你現在想借用 ScientistTwo 的思路，可以先從既有基準重現或消融設計開始。這兩種工作有較明確的輸入和結果，較容易判斷代理是否真的降低研究負擔。
公開專案頁提供論文、案例與示意，可用於理解研究設計。完整系統的取得與安裝方式，仍需要對應文件，才能判斷一般團隊如何重現結果。
對沒有完整程式的研究，仍可參考流程設計：讓提案、實驗、檢查與寫作保留不同責任。重點不是照抄代理名稱，而是每次回到前一步，都帶著具體結果和可處理的問題。
假設團隊先讓代理整理對照實驗，可以要求產出候選設定與理由，研究者確認後再執行。等到系統能穩定保存結果，再逐步擴大自主探索範圍，會比一開始就要求寫完整論文更容易驗收。
這種分階段導入也能看見真正省下的工作。代理若生成很多程式卻需要大量修復，表面產出增加，不代表研究者更輕鬆。應比較可用結果和人類介入時間，而不是隻算生成檔案數。
延伸閱讀：GitSwarm 是什麼？Meta 用共享 Git 記憶讓 AI 代理接力，團隊如何借用這套方法
常見問題
ScientistTwo 的文章真的都被頂尖會議接受了嗎？
官方結果包含模擬審稿代理的評分與接受門檻，不等於真實會議正式接受。比較來源也有已接受的人類論文，引用時應清楚說明評分者與範圍，避免把自動審查寫成學術社羣背書。
這套結果可以推到生物、醫學和所有科學實驗嗎？
不能。這次任務來自 AI 相關研究問題，可驗的多是程式與資料實驗。涉及實體設備、臨牀資料或不同領域驗證時，需要重新建立環境與審查條件，不能直接套用同一個成功比例。
科研團隊最值得借用哪一段？
若已有可靠基準，我會先借用可追溯的實驗紀錄與消融分工。它們能幫助研究者知道改進來自哪裡，再決定是否擴大代理的探索與寫作責任，不必把整個研究都一次交出去。
把自主研究，轉成可以逐項核對的成果
ScientistTwo 的價值在於把研究循環裡的多個關鍵工作連接起來。
想法可以被實驗推翻，審稿意見可以引出補充結果，文字也要對回程式，這些結構比「自動寫出論文」更值得借用。
我會把它視為科研代理驗證方式的進展。研究團隊若能先讓一小段工作變得可重現、可追蹤，再擴大自主性，才有機會把生成速度轉成可靠的研究效率。
若你想持續追蹤科研代理的實際進展，歡迎免費訂閱 AI 郵報。
