CFDN 研究：16 名 AI 代理如何靠背景、記憶與實驗分配改進線性注意力？
CFDN研究用16名同模型代理探索線性注意力，在150M規模搜尋、1.3B規模驗證。本文解釋個別記憶、共享證據、80回合預算與組織消融，分清新架構成績、評分函數和自動科學研究的證據範圍。
讓多個 AI 一起研究，不只是把同一道題問很多次。如果大家反覆試相似點子，代理變多也可能只是增加成本。
CFDN 研究在 2026 年 10 月 20 日公開，讓十六名代理帶著不同學科背景和自己的研究筆記，合作尋找更好的線性注意力設計。
這些代理使用相同基礎模型。團隊想測的是誰探索、記住什麼、何時再分配實驗，而不是靠換上更強模型製造進步。
它先在約一點五億參數規模搜尋，再把最佳設計擴到約十三億參數，在該研究的完整評測中超過 GDN2 基線。
對設計研究代理流程的團隊，值得看的不只是新架構名字，而是哪些組織安排改變結果。目前仍不足推論這套方法對所有科學問題都有效。
要理解它的發現，先看同一個模型如何成為十六條能持續累積的研究路線。
CFDN 團隊的不同背景，如何超過角色扮演？
每名代理拿到的是一組學科工具與研究習慣，並在後續保留自己的假說、結果與反思。研究背景因此會影響它提出哪類機制，而不只是改變回答口吻。
原始論文使用相同的 GPT-6 Astra 模型與高推理設定，透過 Codex 執行研究流程。十六名研究者都是以相同模型執行的 AI 代理。
這個安排把研究差異放在提供給模型的背景、歷史與工具上。例如某條路線可能更關心控制與誤差，另一條更關心記憶與資訊流，但所有提案最後仍必須接受共同的數學與實驗檢查。
代理各有私人研究紀錄，能保留先前失敗、尚未驗證的想法與後續計畫。共享區則保存其他人可使用的提案、審查與結果，避免關鍵證據只藏在單一代理的對話裡。
每十次迭代還會整理共享教訓。這讓團隊不必把所有原始歷史塞進每次輸入，而能把重複出現的失敗或有效方法，轉成後續提案容易找到的資訊。
私人記憶與共享證據各有作用。前者維持一條研究路線的連續性，後者讓成果可被其他路線採用。若只有共享摘要，個別研究者可能失去尚未成熟但值得追查的思路。
這和單次請模型列出十六個點子不同。後者能增加最初的選項，卻沒有規定某個點子失敗之後由誰接手、如何改動，以及新證據如何改變下一輪提案。
持續研究需要保留的，不只有成功結論。若程式沒有通過整合、速度超出門檻，或結果只在某項指標改善，這些資訊都會改變下一個合理問題，否則代理很容易換種說法重試舊路線。
這也讓「不同背景是否有用」成為可測問題。若拿掉背景後，結果並沒有差異，那麼角色設定就可能只是包裝。作者因此沒有只展示最後成果，也另外移除這些安排做比較。
有個人研究路線之後，有限的實驗次數就需要決定下一次輪到誰。
80 回合如何分配，為何不等於訓練 80 個模型？
每回合先選一名研究者，再經提案審查、實作與檢驗，失敗或被拒也會占用額度。八十回合是研究流程的總機會，不能直接寫成八十次成功完成的訓練。
前十六回合讓每名研究者各有一次機會，先建立初步證據。之後的分配會同時考慮近期成果，以及還沒有被充分探索的路線，避免預算全被最早取得好成績的人占走。
方法採用會降低舊結果權重的信心上界分配。白話來說，它會在「再投資最近有效的方向」和「給資訊不足的方向一次機會」之間取捨，而不是固定輪流。
提案先接受數學合理性與新穎性審查，需要時再修改。接著由另一個實作角色把設計寫入訓練系統，經整合與速度檢查後，才進入訓練、評估與反思。
這個分工把想法本身和程式是否正確接上分開。若直接讓提案者一口氣寫完、跑完再自行宣布成功，架構改動和實作問題就比較難追蹤。
研究也設有每步執行時間不超過基準一點二倍的門檻。某個設計即使分數好，如果代價明顯超出研究預設，也不會被當成符合目標的候選。
主實驗最後評估六十三個候選設計。拒絕、執行失敗和速度門檻，說明八十回合為何沒有變成八十個有效結果。其他變體的候選數也略有不同。
流程最多可平行安排八項工作，但提案、審查、實作等階段仍有依賴。不能把這個數字理解成十六名研究者隨時都在各自完整跑一套大型訓練。
流程控制了怎麼做研究，但是否真的改進架構，仍要看相符訓練預算下的結果。
從 150M 搜尋到 1.3B 驗證，新架構改了哪一步？
CFDN 讓共享脈絡先吸收預測誤差，再由查詢相關的記憶補上剩餘部分。這是一種線性注意力的記憶更新設計，不是增加一個網路搜尋工具。
一般注意力會在處理文字時參考先前內容，線性注意力則試圖用較精簡的狀態保留資訊，讓序列變長時不必付出相同程度的計算增長。精簡狀態也帶來問題：哪些資訊應留下，哪些應覆寫？
CFDN 結合向量與矩陣記憶，先處理共享的背景，再處理和當前查詢更相關的剩餘誤差。它把更新拆開，讓不同記憶結構承擔不同部分，而非只把參數加大。
搜尋階段使用約一點五億非嵌入參數模型，再把選出的設計擴到約十三億。兩個尺度用途不同：小模型讓候選試驗較便宜，大模型則檢查成果能否延續。
訓練資料是 FineWeb-Edu 文字資料。作者比較 GDN、GDN2、KDA 與 CFDN，對齊主要深度、寬度與前饋網路配置，集中改動循環記憶部分。
這裡對齊的是浮點運算預算，也就是總計算工作量，並非每款模型都看過相同數量的文字單位。比較不同架構時，處理同一段文字可能需要不同運算，兩種公平條件不能混用。
例如十三億規模下，CFDN 與 GDN2 的訓練文字量分別約八百七十一點七億與八百七十一點八億 Token。Token 是模型處理文字的切分單位，數字接近，但原則仍是計算量對齊。
完整評測中，CFDN 的 Wiki 困惑度從 GDN2 的十六點零五降至十五點七四，LAMBADA 從十一點二二降至十一點零四。困惑度衡量模型對文字的預測難度，這兩項越低越好。
常識推理平均分數從五十二點六五升至五十四點五三，針落草堆檢索從六十六點八六升至六十七點二九，真實世界檢索則從三十二點五二升至三十三點四一。
它在研究比較的四種架構、這個尺度與設定下整體表現較好，不能直接擴成全面超越所有語言模型。較小尺度的常識推理，CFDN 四十三點二九也略低於 GDN2 的四十三點六零。
搜尋時用的是縮減評測，與最後完整報告的數字也不能交叉相減。針落草堆的搜尋代理指標，還使用已知答案續寫的評估方式，不等於自由生成整個答案的測試。
新架構有成績，並不自動證明每一項團隊安排都有幫助，還得把它們分開移除。
拿掉背景、個人記憶或自適應分配，結果差在哪裡？
作者用受控變體保留相同代理模型與共同證據，檢查各項組織設計的額外作用。這種逐項拿掉設計的比較，稱為消融實驗。
完整組合找到的最佳效用為一點零四。拿掉學科背景後為零點五四，讓研究者不保留個人記憶為零點五六，固定均勻分配機會則為零點七六。
效用是作者把多項目標組合後，用來選候選的分數，並不是模型回答正確率。因此不能說完整團隊有百分之百以上準確率，或直接把兩組差額當成通用效率提升。
最佳效用還是一個搜尋終點：它告訴讀者該流程找到過多好的候選，不會呈現每次提案的品質都一樣好。要評估穩定程度，仍需要多次搜尋與更完整的成本分布。
因此，把這張對照表帶回自己的研究時，可以先測同一個改動是否改善候選品質，再看額外記憶與協調是否值得代價。這是從研究設計推導的採用方式，並非作者已替其他任務證明的結果。
這些結果支持背景、連續記憶及預算分配在本次搜尋中有額外作用。不過，它們不是大量不同研究團隊重跑後的平均，因此差異大小還不能當成所有任務都可預期的收益。
各組起跑方式也有差別。無記憶與均勻分配變體沿用前十六回合，再做剩餘六十四回合。無背景組則從頭執行，讀表時需要保留這項條件。
一個有意思的觀察是，完整組合的最佳提案出現在第六十八回合，無背景組較早進入停滯。這顯示後期仍可能有新進展，但不能反推每一次延長搜尋都一定划算。
對流程設計者，最可用的資訊是把變因留下來：同樣預算下，拿掉哪種記憶、改成哪種分配，結果如何？只看最佳案例，很難知道成功來自組織方法、運氣還是單次好提案。
即使組織方式相同，研究最後優化什麼，仍由評分目標決定。
只優化語言預測，為何不一定改善檢索與推理？
只看語言模型分數的搜尋，找到更好的其中一項預測成績，卻沒有在所有任務一起進步。這說明研究代理會追逐被指定的目標，不會自動補齊所有能力。
作者把只優化語言模型的搜尋，和同時考慮多種能力的搜尋比較。在小模型驗證裡，前者的 LAMBADA 困惑度為四十六點四零，優於多目標版本的五十二點三三。
但它的常識推理為四十二點二五，低於多目標版本四十三點二九。檢索分數為二十六點七三，也低於二十九點七六。單一預測指標變好，沒有保證其他能力一起提升。
這個對照讓「代理發現更好模型」變成更精確的問題：更好是對哪些用途、在什麼權重下？如果只把一個容易量測的分數當成全部目標，研究者可能得到擅長那項指標的設計。
真實世界檢索評測沒有作為搜尋回饋，再放入較大尺度完整測試，能補充觀察成果是否延伸到未直接優化的能力。它仍是同一研究的驗證，尚不是外部團隊的重現。
這個取捨會影響研究團隊應該複製哪些流程，而非只抄最佳架構。
研究團隊值得採用什麼，還有哪些證據不足？
可借鏡的是讓假說、失敗和預算分配留下可對照紀錄，模型與任務規模仍要另驗。這些安排能幫助團隊回看，某項變更是靠什麼證據被保留下來。
實作時可以先選一個能反覆驗證的小問題，固定比較預算與評分，再測私人記憶是否改善提案。若一開始就把所有組織功能一次加入，最後即使成功，也很難知道哪些功能值得保留。
截至二〇二六年十月二十三日，本文依據的是新公開預印本與作者報告。它提供一次模型架構搜尋的具體結果，沒有證明所有科學領域都適用，也沒有提供取代真人研究團隊的經濟比較。
十六名代理的價值，要看能否累積不同但可檢查的實驗，而不是角色數量本身。當新點子能在固定條件下被測試，代理數量才可能轉成可累積的研究證據。
延伸閱讀：Sakana Agentic Scientist 開源：讓程式代理做實驗，為何科學研究仍要先訂標準？
延伸閱讀：OpenResearch 讓研究代理留在自己的電腦：AI 跑完實驗，怎麼知道結果可信？
CFDN 常見問題 FAQ
十六名代理用了十六種不同模型嗎？
沒有。研究使用相同基礎模型，差別在學科背景、個人記憶與被分配的研究機會。
八十回合為何只有六十三個候選評估？
提案被拒、實作失敗或未通過速度門檻，也會占用回合，並非每回合都產生有效訓練結果。
研究是否證明 AI 已取代科學家？
沒有。它測試特定模型架構搜尋，研究問題、訓練條件與評分方式都由作者設計，沒有涵蓋所有科學活動。
現在能直接下載完整系統嗎？
本文查核來源包含論文與資料集，不能據此宣稱作者已公開可直接重現全部流程的完整系統套件。
先設計可累積的實驗，再增加研究代理
CFDN 的新架構和組織對照提供了兩種成果：一個可繼續測試的記憶更新方法，以及一組能追查研究流程的設計。能否擴大用途，要靠更多固定條件下的驗證。
想追蹤研究代理與模型架構的後續驗證，可免費訂閱 AI 郵報，並從原始論文核對新版本。
