CritPt v2 物理評測升到 83%：修訂 47 題與新增工具，分數能和舊版比嗎？
CritPt v2修訂47道研究級物理挑戰，並讓模型使用離線程式執行工具。本文解釋題幹與評分器修正、70題五次平均、83.1%新榜條件，以及為何不能把跨版本分差直接當作模型能力進步。
同一個物理評測，前沿模型分數從三成左右變成八成以上，看起來像能力突然跳了一大截。
但 CritPt v2 在 2026 年 10 月 22 日推出時，變動的不只模型。作者重新檢查全部挑戰，修改了四十七題相關內容，評測也加入離線程式執行工具。
新榜的 GPT-6 Astra 最高設定達百分之八十三點一，是七十題、五次執行的平均，不能直接拿來減去舊版分數。
這次更新把不清楚的題目條件與不穩定評分修好，同時測模型能否用計算工具解題。它也提醒讀者，排行榜本身會改變。
想比較物理解題工具的人，應優先看同一版、同樣設定的結果。若要判斷 AI 是否能做完整科學研究，這張榜還只回答其中一部分。
先看四十七題實際改了什麼，才能理解分數變高有哪些來源。
CritPt v2 修改 47 題，是否代表原本 47 題都錯？
修改包括題幹錯誤、條件不足、評分器修正與更嚴謹改寫，不能全部算成錯題。不同問題會用不同方式影響分數，理解分類比只記住總數更有幫助。
CritPt 官方說明列出四類：五題修正題目敘述錯誤，十九題補足原本沒有清楚交代的條件，十六題修正評分器，另七題只是讓表達更精確，沒有被確認存在原始問題。
這四類加起來是四十七道挑戰，除此之外還有小型文字修正。因此，「大部分題目都出錯」會把措辭改善和實質錯誤混在一起，也會忽略評分程式與題目本身是兩層不同工作。
題幹錯誤可能讓模型即使推理正確，也無法滿足原來的要求。條件不足則可能讓多個答案都合理。前者需要改正問題，後者需要把作者原先默認的前提寫出來。
研究者平常和熟悉領域的人溝通，常會省略大家共知的慣例。但一套用來比較模型的測試，需要更明確地界定可接受答案，否則測到的可能是猜中出題者意圖的能力。
作者說明修訂經過約四個月的檢查，包含外部回報、內部覆核與模型答案對照。回報的「問題數」和受影響的「挑戰數」不同，同一題也可能有多項回報，不能把各方數字直接相加。
公開這些變更有助於理解測試如何成熟。它不代表舊版所有觀察都沒有價值，而是提醒使用者保存版本，避免把改過的題目當成完全不變的測量工具。
對模型開發者，這類修訂還影響如何閱讀失敗案例。若模型因漏讀明確條件而錯，可能需要改善推理。若題目根本沒寫出必要條件，就應先修測量工具，不能把所有失敗都歸到模型。
把錯誤來源分開，也能避免另一個極端：因為部分評分被修正，就把所有剩餘失敗都當成題庫問題。新版仍需要逐題檢查模型在哪一步偏離要求，而不是只接受對自己有利的解釋。
題目能解是一關，評分是否穩定地認出正解，則是另一關。
題幹與評分器，為何會一起影響模型分數？
缺少慣例或約束可能讓答案不唯一，容差過窄或不穩定的評分也可能把合理結果判錯。模型的輸出沒有變，評分器修好後，成績就可能上升。
評分器是接收答案並判斷是否通過的程式。對複雜物理題，它必須處理公式、數值、條件與表示方式，不能只比對一串固定文字。
以一般情境說明，兩個數學等價的式子可能長得不同。若評分器只接受其中一種形式，另一個正確結果就可能被拒絕。反過來，過寬的條件也可能讓不完整答案過關。
數值題還涉及精度與容差。計算過程若使用合理近似，最後的小差異是否應算錯，需要題目與評分規則一致，不能等看到某個模型的結果後，才任意決定。
這些是理解評測的一般例子，並非表示官方列出的每一道修題都屬於相同錯誤。這次正式公布的是各類修訂數與版本說明，不能自行替未公開細節的題目補故事。
CritPt 的複合挑戰還包含相互連結的推理步驟。前面條件不清，可能讓後面計算沿著另一條合理路線發展，因此小幅文字修改也可能改變整題能否通過。
作者也公開說明，曾在檢查過程中對照 GPT-6 Astra 的答案。這是修訂流程應納入的背景，讀者可以據此評估方法。沒有證據時，不能進一步指控模型已取得答案或存在作弊。
較好的比較方式，是把修訂紀錄、目前的題目版本和模型執行條件一起保留。只截取一張榜單，會看不到分數背後的規則何時變動。
修正題目之外，這次還改變模型可以怎麼計算答案。
離線程式工具新增了什麼，和網路搜尋有何不同？
模型能在 Linux 沙盒撰寫和執行程式，以計算協助解題，但沒有因此取得網路或真實實驗設備。沙盒是限制程式活動範圍的執行環境。
在純文字回答裡，模型必須自己維持中間數值與推導。加入程式後，它可以把某些計算交給執行環境，再根據結果修正下一步，而非只在回答裡聲稱算過。
對物理問題，這可能幫助數值求解、檢查極限情況或測試候選答案。但能寫程式不代表模型一定選對方程式，程式也可能忠實計算一個錯誤假設。
離線條件同樣影響解讀。它不是邊上網找答案、邊整理資料的開放式研究，也沒有替模型加入現實儀器、實際取樣或新的物理觀測。
因此，新版測的是模型結合推理與計算工具後，能否解決明確提出的問題。這比純文字測試多了一種能力，但仍有清楚範圍，不能自動延伸到完整實驗室工作。
Artificial Analysis 的評測頁把這個工具條件列入新版方法。選模型時，應比較同樣允許程式的結果，避免把有工具與無工具的分差全算成模型本身強弱。
如果實際使用環境不允許執行程式，新榜的相對表現也未必能直接移植。相反地，若工作需要大量計算，純文字榜單又可能低估可用工具的重要性。
把任務與工具條件固定之後，新版排行榜才有可比較的意義。
83.1% 怎麼讀？70 題、五次平均與模型設定
新版分數平均五次執行的七十道測試題，模型思考強度和備援模式也都是條件的一部分。百分之八十三點一不是在單次測試裡剛好答對某個整數題數。
同一模型可能因生成過程而在不同次執行得到不同答案。重複測試並取平均，可以降低單次偶然結果的影響，但五次執行仍不是五套完全不同的物理試題。
截至二〇二六年十月二十三日，CritPt v2 榜首是 GPT-6 Astra 的最高推理設定，為百分之八十三點一。GPT-6.1 Sol 同為最高設定，為百分之八十二點零。
Claude Opus 5.5 的最高設定、搭配預設備援模式，為百分之七十七點七。GPT-5.6 Sol 最高設定則為百分之七十四點九。這些模式資訊是結果的一部分，不能只留下模型名稱。
尤其「最高」設定通常代表模型可以使用較多思考資源。高分本身沒有同時回答費用、等待時間或服務是否可取得，選型時仍要用自己的工作量評估這些條件。
相差一兩個百分點，也不等於在所有物理類型都有穩定優勢。七十道複合挑戰有特定題目組成，平均分數可能掩蓋兩個模型擅長的部分不同。
五次平均主要處理同一模型執行的變動，不能消除題集選擇帶來的限制。即使每次都得到相近分數，仍可能在未包含的物理問題上表現不同，兩種不確定性要分開看。
實際採購或研究選型還可以記錄每題的耗時與失敗方式。若一款模型平均稍高，卻在團隊最常遇到的題型反覆犯同一種錯，就不一定是更適合的助手。
這套測試由六十多名物理研究者參與建立，提供比簡單知識題更有挑戰的問題。它仍是有限題集，不能把參與人數直接當成對所有物理領域的完整覆蓋。
Artificial Analysis 提供了相對於模型供應商的外部評估，但也和基準作者合作。這和多個完全獨立實驗室各自重跑並得到一致結果，是不同層次的證據。
同版本能比較不同模型，跨版本卻還混著題目和工具兩項變更。
為何不能把 v1 到 v2 的分差，全算成能力進步？
Artificial Analysis 指出，大部分分數提升來自題目修訂，程式工具也有較小貢獻，兩者沒有可直接扣除的統一換算。
官方提到，GPT-6 Astra 在舊版約三成，在新版達到八成以上。若直接相減，就會把評分器修好、條件更清楚與可執行程式，一起算成模型突然學會更多物理。
這和拿兩把刻度不同的尺測同一物體相似。讀數變了，可能有物體差異，也可能有測量方法差異。沒有固定其中一項，就無法單獨估計另一項。
目前說明沒有提供一組可套到所有模型的精確比例，讓使用者把新增分數分成幾成來自修題、幾成來自工具。因此不應自行替官方的定性說法填入百分比。
要分析工具本身的作用，理想上應在相同新版題目、相同模型設定下，只切換工具，再比較多次執行。要分析模型進步，則需要在固定題目與工具條件下比較模型版本。
這也是為何舊版的發表時間，不能和新版的不同模型結果隨意拼接成成長曲線。兩個端點同時換了模型與方法，曲線即使看起來漂亮，也無法指出進步來源。
研究者或團隊若保存 CritPt v2 成績，應同時記錄版本、工具、執行次數與推理設定。之後測試更新，至少知道原來的數字是在什麼條件下取得。
這樣才能區分是同一能力在新題目下重新量測，還是固定問題中的表現確實改變，讓每次更新都有可追查的比較起點。
即使在新版拿到高分，解出已定義問題仍與決定研究什麼不同。
物理解題變強，離完整科學研究還缺哪些步驟？
這套題目檢驗明確物理問題的推理與計算，不直接衡量提出好問題、設計實驗和解釋真實測量。高分對選擇解題助手有參考價值，卻不是科學家工作的替代比例。
真實研究常從問題尚未定義完整時開始。研究者要決定哪些近似合理、哪些資料值得蒐集，以及一個看似不符預期的結果，究竟是新現象還是設備與分析錯誤。
修訂過程本身就展示了這種工作：題目中的省略條件、評分規則與合理答案，需要人反覆討論。讓模型解出修訂後的問題，和主動發現測試本身有缺口，是不同能力。
對使用者而言，可以把常見工作拆成推導、計算、查證與實驗判斷，先看 CritPt v2 涵蓋哪一部分。若需求是協助明確問題的數值推演，這張榜比拿來估計整個研究職位更有用。
也可以用自己領域的新題建立小型對照，保留解題過程，檢查模型是否能解釋關鍵假設。這是應用建議，不是本文已替任何特定模型完成的實測結果。
官方提供研究者與機構申請的評分途徑，公開儲存庫說明完整測試與使用條件。能申請評分，不代表每個人都能不受限制地取得題庫與反覆試到通過。
把它當成一項有明確範圍的工具測試，會比把單一分數當作科學家替代率更有用。
延伸閱讀：3Blue1Brown 談 AI 與數學：解題能力提升後，學數學的價值在哪裡？
延伸閱讀：EurekaBench 是什麼？AI 預測接近人類，科學洞見仍有落差
常見問題 FAQ
CritPt v2 是否表示舊版有四十七道錯題？
不是。四十七題包含敘述錯誤、條件不足、評分器修正，以及沒有確認問題的表達改善，不能全算錯題。
模型能搜尋網路嗎？
本次工具是離線 Linux 沙盒程式執行，不能因此理解成可上網搜尋答案，或操作真實物理實驗設備。
八成以上是否代表能完成八成科學工作？
不能。分數來自固定的複合物理挑戰，不是對所有科學工作所做的工時或職務評估。
誰能使用官方評分？
官方依個案審核研究者與實驗室申請，提供完整批次評估並限制提交頻率。具體資格與現行條件應以官方頁面為準。
先固定版本與工具，再用物理評分選模型
CritPt v2 的更新讓分數更容易對應到清楚的題目與工具條件。比較時保留這些條件，才能把高分轉成有用的選型資訊，也才能辨認下一次進步到底來自哪裡。
想追蹤物理與科學 AI 評測更新，可免費訂閱 AI 郵報，並以官方版本紀錄確認下一次榜單變動。
