METR 研發加速評估:Anthropic 約快兩倍,1.9 倍指標與公開證據限制怎麼看?
METR 在 11 月 5 日公布 Anthropic 研發評估,使用內部數據、文件與訪談,分析 AI 是否正在加快 AI 的研究與開發。 我會把這份報告視為值得持續追蹤的加速訊號。它提供少見的內部視角,但多數關鍵證據遭刪節,外界仍難自行重建全部推論。
如果 AI 能協助研究員更快改進下一代 AI,模型進步的速度也可能跟著改變。要判斷這件事,光看公開產品的發布頻率並不夠。
METR 研發加速評估在 11 月 5 日公布,針對 Anthropic,使用內部數據、文件與訪談,分析 AI 是否正在加快 AI 的研究與開發。
METR 研發加速報告的綜合判斷約為歷史速度的兩倍,但帶有很高不確定性。這個說法衡量明確可評分任務上的能力進展速度,和個別研究員省下的時間、單一模型的能力幅度分開。
較可量化的部分,是內部能力指標 AECI 的增長速度約為過去 1.9 倍。報告又把趨勢觀察與AI貢獻分開,因為兩者需要不同證據。
我會把這份報告視為值得持續追蹤的加速訊號。它提供少見的內部視角,但多數關鍵證據遭刪節,外界仍難自行重建全部推論。
要看懂兩倍的意義,得先確認比較的期間、衡量的能力,以及研究者實際能取得哪些資料。
METR 研發加速評估,兩倍是和哪段時間比較?
這次比較的是模型能力成長的速度,而不是把單一模型的分數乘上兩倍。官方報告把歷史期間設定在2024年3月至2025年10月,再觀察之後的變化。
如果一項能力指標原本每年增加固定幅度,後來增加得更快,這叫成長速度改變。它不表示今天的模型在每一個工作上,都比以前聰明兩倍。
AECI 是 Anthropic 版本的綜合能力指標,把內部與外部測試整理成可比較的能力尺度。因為單一測試可能很快接近滿分,綜合指標試圖把不同難度的題目放到同一趨勢裡。
報告使用分段直線估計趨勢轉折,再比較前後斜率。斜率可以理解為每段時間增加多少指標,因此一點九倍描述的是這個增加速度的比例。
指標估計和綜合判斷是兩層結論
自2025年10月起,AECI 的估計成長速度是先前約1.9倍,95%信賴區間為1.5至2.8倍。這個區間反映特定分析方法下的不確定性,仍需要保留測量與模型假設。
METR 綜合其他內部資料後,主觀判斷截至2026年10月,能力進展大約是歷史速度兩倍。研究者也說,真實幅度接近1.3倍或3倍,都不會讓他們意外。
這兩種數字不能混成一個精確答案。前者是某種指標的統計估計,後者則整合更多證據、涉及研究者判斷,而且一部分重要材料沒有公開。
報告用「一年取得約兩年歷史進展」幫助理解相對速度。這仍是對同一歷史基準的描述,沒有給出下一個模型會在哪一天達到哪種能力的保證。
趨勢可以測量,但判斷多少來自AI,還需要反事實與其他來源的證據。

AI 協助研究與自主研究,報告如何區分?
目前證據主要支持AI幫助人類研發,完整自主貢獻仍是另一個需要追蹤的現象。把兩者分開,才能知道加速發生在哪裡,以及未來是否還有更大的變化。
研究員可以請AI寫程式、分析實驗或整理結果,人仍負責方向與關鍵判斷。這屬於輔助式工作,即使帶來大量時間改善,也不等於整條研究流程已經自動化。
相對地,自主研究會讓代理連續決定實驗、執行、解讀與下一步。報告看到這類貢獻可能增加的跡象,但沒有說它已經完整取代研究團隊。
為什麼無法只看AI寫了多少程式?
程式碼行數、請求數與工具使用量可以顯示AI參與程度,但不直接等於科學進展。寫了很多程式,仍可能沒有改進模型,也可能增加需要人檢查的工作。
因此,METR 同時看能力測試、演算法效率、運算投入、內部調查與訪談。不同證據能互相補充,也可能在「到底哪一段真正變快」這個問題上出現歧義。
報告認為,加速的大部分可能來自廣泛使用AI,但承認有很大不確定性。尤其2025年底的成長,也可能受到其他非AI因素影響,不能全部歸給代理。
反事實是歸因最難的一步
反事實指沒有發生、卻需要拿來比較的情境。這裡要問的是,如果 Anthropic 完全不能使用AI工具,今天的研發速度會是多少。
歷史速度和當前速度可以從資料估計,這個「今天但沒有AI」的速度卻看不到。研究者只能用多種線索推測,因此不能把兩倍趨勢當作隨機實驗證明的因果。
工作人員的訪談與問卷,確實符合AI帶來顯著提升的說法。但人們估計自己省下多少時間,也可能受到記憶、工作選擇與比較基準影響,所以需要其他資料一起判讀。
METR 對另一件事有較高信心,這次加速不是因為訓練運算量的擴張速度加快。這排除了某個簡單解釋,仍沒有把所有其他原因完全排除。
要評估這種歸因有多可信,也必須知道METR的存取範圍與檢查方式。
十一週高存取評估,與員工級存取有何不同?
METR 取得大量內部資料,但資料仍透過協商提供,並沒有不受限制地查看所有系統。這個界線也讓本次研究與十月公布的另一項合作清楚分開。
評估從2026年8月12日至10月29日進行,投入相當於二點五名全職人員的工作量。這是換算後的人力規模,並非一定只有二到三個固定人員參與。
團隊檢查預訓練、強化學習、運算投入、內部模型測試、效率分析與未來模型指標預測,也進行約十五次關鍵人員訪談。
強化學習在這裡指依任務回饋繼續改善系統的訓練。因為不同階段可能各自加速,研究需要拆開檢查,才能避免把整體改善誤歸到單一方法。
這次沒有直接呼叫未公開模型
官方明確說,本案沒有要求或取得對未公開模型的取樣存取。研究能看見內部模型的結果與相關資料,和能親自任意測試那些模型,是不同權限。
它也不是 Anthropic 十月十五日宣布的員工級存取計畫。報告說明,本案從八月就開始,而且雙方原本就沒有打算提供不經中介的全部文件、資料與模型存取。
研究者可以要求相關資訊,Anthropic 則能批准或拒絕。實際上,雙方常協商成既有資訊價值、又不過度敏感與難以整理的資料形式。
METR 說整體資料量超過原先預期,也坦承少數請求被拒。這表示「高存取」增加了外界罕見的研究視角,卻沒有保證所有重要脈絡都能被看見。
獨立性也需要具體說明
評估期間使用 Anthropic 設備,並取得免費模型用量,主要協助資料分析與視覺化。METR 表示沒有收取 Anthropic 的報酬,相關合作條款與利益關係另有揭露。
這些資訊有助於讀者理解研究如何進行,但判斷獨立性仍要一起看資料取得與公開權。研究者能提出自己的高層結論,不代表所有支撐內容都能自由發表。
研究者能看見的資料與公眾能檢查的資料又不同,這形成報告最關鍵的透明度限制。
關鍵證據遭刪節,讀者還能判斷什麼?
公眾能閱讀高層結論與部分測量,卻必須更依賴METR對未公開證據的判斷。報告開頭直接承認,這次沒有達成理想的證據透明度。
Anthropic 有權刪除報告中的非公開資訊,並實際刪去了METR認為最有資訊價值的證據中的大部分。公司給的理由是避免機密資料協助其他開發者加快進展。
METR 則保留說明刪節存在、結論是否重大依賴刪節,以及存取程度的權利。因此讀者可以知道限制在哪,仍無法自己重做所有推論。
公開報告與百頁完整報告不同
研究曾交付約一百頁完整報告給Anthropic,公開文章只呈現部分結果。這份完整材料沒有全部公開,所以讀者不能把公開摘要當作已能取得原始全部證據。
官方列出的對照表顯示,內部能力測試的一部分結果有公開。演算法進展估計、關鍵研發投入與未來預測則有重要部分未公開,AI貢獻與訪談內容也只有部分可見。
這個缺口對因果判斷尤其重要。公眾可能看得到能力成長比較快,卻無法用同樣完整的材料,檢查多少來自AI、資料改進或其他研究安排。
有一項原定驗證中途取消
原先合約包含檢查運算資源如何分配,特別是能力與安全研究之間的比例。後來Anthropic把這部分移出範圍,在METR做出實質結論前就取消了。
因此,這份報告沒有完成安全與能力運算分配的核實。它對研發速度的觀察,也不能代替對公司是否遵守另一項資源承諾的判斷。
即使接受這個有條件的觀察,也還要檢查衡量方式是否放大或低估成長。
哪些因素會讓兩倍估計變高或變低?
測試任務類型、歷史基準與尚未看見的瓶頸,都可能改變加速幅度。報告列出可能低估與高估的原因,讓後續證據有地方接進來。
清楚可評分的任務,不代表全部真實工作
AECI 多數測試屬於目標明確、容易判分的工作。如果近期進展集中在這些乾淨任務,卻沒有等比例改善模糊、開放式的研究判斷,指標就可能高估實際影響。
歷史期間本身也會影響倍數。報告提到,Anthropic在較早期間的指標增長低於整體產業前沿,若起點異常慢,後來的加速比值就可能被放大。
分析方法本身也會改變幅度。報告測試不同的指標轉換方式,得到的加速估計有相當差距,因此一點九倍應和原來的方法一起引用,不能脫離計算方式當成精確常數。
另一方面,某些能力跨過門檻後,可能突然能處理過去做不到的問題。這種真實影響未必和綜合指標均勻成長,因此同一套指標也可能漏掉部分重要變化。
沒看到瓶頸,不等於瓶頸不存在
METR 沒有看到足以明確阻止未來十二個月進展的演算法、訓練運算、實驗運算或資料瓶頸。但研究者也說,取得更多背景後,對瓶頸的理解曾多次改變。
所以這個觀察應讀成風險評估的一部分,沒有構成未來必然持續加速的保證。尤其內部模型需要完成訓練才看得到結果,測量本身還帶著時間落後。
後續值得追蹤的,是相同指標是否繼續加速、自主研究貢獻是否擴大,以及外部評估能否公開更多可重現證據。這些都比只重複兩倍標題更能更新判斷。
延伸閱讀:METR 獨立評估獲 Anthropic 員工級存取:AI 安全評估能看見什麼?
延伸閱讀:Anthropic 分析二十萬筆科學工作對話,研究者如何使用 Claude?
把這些變動原因保留在結論裡,才有辦法用後續證據更新判斷。
METR 研發加速常見問題 FAQ
METR 研發加速1.9倍代表模型更聰明1.9倍嗎?
它描述能力綜合指標的成長速度相對歷史期間提高,並非單一模型能力或所有任務成功率直接增加1.9倍。
這是10月15日員工級存取計畫嗎?
報告明確說不是。本次高存取評估從八月開始,資料仍經協商提供,也沒有未公開模型的直接取樣權。
AI已完全自主開發下一代模型嗎?
報告主要支持AI輔助人類研發帶來改善,並觀察自主貢獻可能增加的跡象,沒有證明整段流程已完全自動化。
未觀察到瓶頸代表接下來一定持續加速嗎?
研究者承認可能漏掉重要瓶頸,也曾因新資訊改變解讀,因此這是有不確定性的觀察,沒有保證未來結果。
結論
METR 的報告讓AI是否加快AI研發,從外界猜測推進到部分內部證據支持的評估。它同時保留指標、歸因與公開權限的差異,這些限制會直接影響結論有多強。
關心模型發展的讀者,可以持續追蹤METR 風險評估頁,比較後續報告是否使用相同基準、揭露更多證據,再判斷加速趨勢是否延續。