HLE-Diamond 新榜單：推理成績提高，為何 Claude 每題成本也增 35 倍？
HLE-Diamond獨立榜單拆開推理、知識與每題成本。解析1000題無工具評測、Claude同模型努力設定35倍成本，以及圖像輸入、未釋權重與選模型限制。
HLE-Diamond 在 Artificial Analysis 的新榜單，讓高難問答的準確率和推理成本同時被看見。AA 於 2026 年 10 月 30 日推出獨立排行，新的事件是這套評測的展示與比較，而不是資料集這天才誕生。
原資料集早在 9 月 22 日由 CAIS 與 Scale AI 公布，精煉成 1,000 題，推理與專家知識各占一半。把兩類拆開，是因為模型會長篇推導，也可能仍缺少作答所需的知識。
首發圖中 Carbon 為 69.1%、Opus 5.5 最高努力設定為 67.9%。但只看兩個總分，會錯過輸入能否含圖、是否可用工具，以及模型為每個答案花了多少推理。
AA 的原始串文顯示，Opus 5.5 從低到最高努力設定約 42% 升至 68%，每題成本也約為 35 倍。這是同一模型不同設定的對照，不能解讀成 Claude 售價比另一家公司高 35 倍。
我認為這張榜更適合幫開發者提出測試問題：自己需要補的是推理、知識，還是願意為少數難題提高預算。它無法替代真實工作驗收，也不能證明最高分設定永遠最划算。
要把成本和準確率放在同一個判斷裡，先得知道這一千題如何被問、又如何判對錯。
HLE-Diamond 新的是 AA 獨立榜單，題庫已在 9 月公布
AA 把精煉後的題目作成獨立比較，讓同一資料集中的推理和知識表現可以分開看。原始發布貼文明確使用推出新榜單的說法，和原作者公開題庫的日期不同。
CAIS 與 Scale AI 的資料集公告則說明，研究者經過清理與修訂，參考研究社群意見，從 Humanity’s Last Exam 整理出 HLE-Diamond。它保留高難度學術問答的目標，同時縮成較精煉的集合。
推理與知識各有 500 題，讓總分不會只由其中一類決定。因為兩類權重相同，一個模型即使擅長多步推導，專家知識不足仍會拉低整體表現。
對讀者而言，這種分區比單一「智力分數」多一層資訊。它能讓人辨認錯誤較偏向缺少知識，還是已有材料卻推導不出答案，兩者需要不同補強方式。
舊 HLE 與 HLE-Diamond，不能用百分比直接接線
AA 方法頁說明，其原本 HLE 評測使用 2,158 題純文字題。HLE-Diamond 則有一千題，其中 272 題包含圖像，兩份測試的題目組成不同。
如果某模型在舊題庫得到較低分、在新題庫得到較高分，差距可能包含題目改變。沒有固定同一批題目，就不能把兩個百分比之差全部當成模型這段時間進步多少。
資料集原公告另有可使用網路與程式工具的實驗，但本篇 AA 榜單採無工具設定。即使名稱相同，可搜尋資料和只能靠模型內部知識作答，也不是相同測試。
因此，看到 HLE-Diamond 成績時，日期、題庫版本和有無工具，都是數字的一部分。新榜單提供的是另一個觀察模型的切面，不是把舊 HLE 分數換上新標題就能直接比較。
無工具、一次作答和 AI 裁判，決定分數代表什麼
這次 AA 評測不給搜尋或執行工具，每題只取一次模型答案，再由指定裁判依參考答案評分。這種一次作答的評分常寫作 pass@1，可以理解為第一份答案是否答對。
它不包含連續重試直到成功，也不會在答錯後再由真人提示修正。因此測的是一個固定作答流程，不能直接代表可以查資料、寫程式或請人確認的代理工作。
官方提示要求回答包含解釋、答案與信心程度。信心是模型自己的估計，而最終正確性由指定評分流程判斷，所以說得有把握也不會自然變成答對。
裁判與輸入條件都要保留
AA 使用 GPT-5.6 Luna 的 medium 設定，按照官方 HLE 裁判提示與回覆格式評答案。這是 AA 執行的獨立評測，既非每家供應商自己的成績，也不是 AI 郵報逐題重測。
同一個裁判設定能降低評分流程任意變動，但無法把語意判斷變成單純數字比對。對非常專門的答案，讀者若要追查特定失誤，仍得回到題目、參考答案與完整作答，不能由總分推想每一題的錯因。
裁判把模型答案與參考答案比較，讓大量題目可以用同一流程評分。但有一致流程，不代表裁判從此沒有錯誤，讀者仍應把成績視為該方法下的量測。
輸入圖像也有差異。可接受影像的模型會拿到題目圖片，只有超過供應商大小限制時才縮圖。不能收圖的模型則只收到那些圖像題的文字，最後仍以全部一千題計分。
因此，一個純文字模型在某些題目缺少影像，不代表它和多模態模型在每一題拿到完全等價資訊。總分可能同時反映解題能力與輸入能力，這點會影響比較用途。
對正在做文件問答的人，這個差異很具體。若自己的資料常有圖表，不能只選一個純文字分數接近的模型，就預期它能看懂圖中的關係。
分數反映這套封閉問答流程，不能直接外推可以搜尋、重試與操作工具的完整代理。
推理高於知識，總分接近仍可能有不同短板
首發結果把每個模型的推理與知識分開列出，因此總分相近也不代表會錯在同一類問題。AA 在原始串文指出，總分超過五成的模型，推理成績都高於知識成績，差距約 16 至 35 個百分點。
例如，串文以四捨五入整數說明，GPT-6.1 Sol 最高努力設定的推理約 76%、知識約 41%。如果只看兩類平均，就會失去這個明顯的知識落差。
這不是說知識題只要多想就一定能補起來。若作答所需資訊根本不在模型可靠掌握的範圍，延長推理仍可能只是把不完整前提寫得更長。
相反地，已有足夠資訊卻需要多步計算的題目，可能更受推理預算影響。分區讓這兩種問題可以分開討論，而不用把所有錯誤都歸成「模型不夠聰明」。
以下保留 10 月 30 日 AA 首發圖中的幾個設定，數字是當時快照，不代表之後永遠維持同一排序。
| 模型與設定 | HLE-Diamond 整體得分 |
|---|---|
| Gemini 4 Carbon，high | 69.1% |
| Claude Opus 5.5，max、with fallback | 67.9% |
| GPT-6 Astra，max | 63.8% |
| Kimi K3.1 Pro | 37.3% |
這張表顯示的是具體模型與具體推理設定的組合，不能省掉努力等級後，把它描述成整個品牌固定能力。原貼文用 69%、68% 等整數說明，與圖表小數差別屬於顯示精度。
如果把一千題當成固定分母，69.1%和67.9%的差距是1.2個百分點，在算術上相當於十二題。這能幫讀者理解差距大小，但不是統計顯著性的判定，也沒有證明另一批專業問題仍維持相同順序。
兩類各占一半也會影響總分。假設某個設定只改善推理題、知識題完全不變，推理區多出的成績只占總分的一半。因此，選擇和自己任務接近的分區，通常比只看總平均更有解釋力。
有測試結果，不代表已經可以取得相同服務
首發圖用格紋標出尚無公開 API 的模型，Carbon 就在其中。API 是讓程式呼叫模型的服務介面，未開放意味一般開發者不一定能立刻重跑同樣設定。
Kimi K3.1 Pro 的完整權重也尚未發布，AA 原貼有保留這個條件。它可以被放進開放權重路線的討論，卻不能被寫成現在已能下載這份權重部署。
模型能力與可取得性因此要一起看。總分較高的預覽型號，若尚無你的帳號能用的入口，就不能直接當成今天產品可以切換的選項。
選模型時，自己的錯誤集中在哪類，比只追逐總分差一兩分更有用。
延伸閱讀：Gemini 4 Carbon 發表：資安、長任務能力升級，誰能用、價格多少？
Opus 成本約 35 倍，換來的是 26 個百分點
提高努力設定讓模型在答案前投入更多推理，成本增加要和同一模型的分數變化一起讀。AA 的成本串文用 Opus 5.5 與 Astra 說明這種取捨。
Opus 5.5 從 low 約 42% 到 max 約 68%，差距是 26 個百分點。它不是「只提高百分之二十六」，因為百分點描述兩個百分比直接相減，與相對增幅不同。
同一段比較指出，每題成本約為低努力設定的 35 倍。這個倍率含該測試中模型實際消耗的推理與輸出，不能直接改成供應商每單位文字的標價提高 35 倍。
Astra 的對照則是 low 約 45% 到 max 約 64%，增加 19 個百分點，每題成本約 11 倍。兩個模型都能從更高努力得到分數提升，但成本曲線並不相同。
把倍率換成預算，仍要知道它只是試算
假設低努力設定處理某一批題目的成本是 100 元，而且完全沿用原評測的平均倍率，35 倍就會變成約 3,500 元。這只是解釋倍數的假設算例，不是 Claude 的台幣報價。
多花的費用要看換來哪些答案。如果任務裡有少數高價值難題，針對它們提高努力，和把每一個簡單查詢全部改成最高設定，會產生不同總成本。
榜單沒有測出你的工作應該如何分流，所以不能只憑這份數字替每個查詢自動選檔位。它提供的是做取捨時要一起保留的成績與資源資訊。
每題成本也不能直接換成等待時間。推理輸出會影響用量，但服務速度、排隊和執行方式是另一組條件。若產品必須即時回覆，除了評測正確率與帳單，還需要另外量測實際回應速度。
同樣地，最高努力後仍有答錯題目。增加推理不是把不確定性買到零，成本預算之外還需要能判斷答案是否正確的驗收方式。
是否值得花這筆額外費用，要由難題價值與自己的評測決定，不能把榜上的倍率搬成每個任務的報價。
用 HLE-Diamond 選推理預算，仍要回到自己的任務
這張榜最能幫忙的是辨認知識缺口與推理預算的取捨，而不是保證模型能把工作做完。高難度學術答案與一份可交付文件，可能需要不同的資訊、工具和檢查。
假設你要做內部技術文件問答，錯誤來自找錯文件版本。單純提高努力未必能補上正確依據，因為模型需要先取得正確資料，推理才能建立在適當前提上。
如果文件已提供全部條件，工作卻需要串接多個限制和計算，那麼不同努力設定才更接近要比較的變因。這時可以用同一批題目和相同資料，觀察額外推理換來哪些改善。
這兩個假設情境說明，知識與推理不能完全互換。新增檢索改變模型可取得的資訊，提高努力改變處理既有資訊的投入，最後仍要看結果是否符合任務。
不把學術問答榜當成工作完成認證
此榜沒有同時證明繁體中文溝通、工具操作、長期記憶或交付格式都達到相同水準。若工作必須修改檔案或操作系統，答對一道難題還只是其中一種能力。
因此，採用時應固定自己真的需要的工作材料與完成條件，再比較可用模型。榜單能指出值得測哪些設定，卻不能取代你的資料權限、預算與錯誤容忍度。
對模型開發者，我會把這次新榜視為成本與能力的提醒：總分升高值得看，但努力預算、知識短板和可取得性，會一起決定這個分數能否用到產品裡。
把代表性任務的正確性、成本和可用方案放在一起，才會得到能落地的選擇。
延伸閱讀：ChatGPT Pro 用量更新：Work、Codex 加倍範圍與 Pro 200 的例外
HLE-Diamond 常見問題
HLE-Diamond 是 10 月 30 日才公布的題庫嗎？
原資料集於 9 月 22 日公布，這次新事件是 AA 在 10 月 30 日推出獨立榜單。日期不同，所公布的工作也不同。
Claude 比 Gemini 貴 35 倍嗎？
這個數字比較同一個 Opus 5.5 在低與最高努力設定的每題成本，不是跨品牌售價。不同任務、輸入長度和推理消耗，都可能改變實際帳單。額度、供應商計價和單次作答成本也屬不同資訊，不能只用訂閱月費替代每題實際用量。
開放權重模型的成績都能現在下載重現嗎？
不能由分類直接推論。Kimi K3.1 Pro 在首發貼文中仍有權重未發布的限制，其他模型也要各自確認版本與可取得入口。
為何榜上得分不能直接當工作成功率？
這次是一千題無工具、一次作答的封閉問答。真實工作還涉及資料取得、操作與交付，需要另外定義完成條件。
可以從AA 完整方法核對自己的比較是否使用相同題庫與工具條件，再決定哪些努力設定值得實際測試。
歡迎免費訂閱 AI 郵報，持續追蹤模型評測與推理成本。
