AA-Omniscience v1.1 更新：題數減半，為什麼 AI 分數下降不等於退步？
AA-Omniscience v1.1把題庫從6000題整理成3000題。解析淨分數、答對率與幻覺率的不同分母，公開300題和私有2700題的用途，以及為何換題後降分不代表模型退步。
同一個 AI 在 AA-Omniscience v1.1 拿到較低分，未必代表能力突然退步。若題目已換、簡單題移除，下降也可能反映考卷變了，而不是模型變了。
Artificial Analysis 在 2026 年 10 月 31 日詳細介紹這項知識與幻覺評測更新。這個隨十月二十七日 Intelligence Index v5 推出的版本，把六千題整理成三千題，也重新校準三百題公開集。
評測關心的不只是能答對多少，還包括不知道時會不會硬猜。其淨分數獎勵正確、扣除錯誤，拒答不扣分，因此比單看答對率多了一個取捨。
原作者公布，新版整體分數略低，但新舊名次高度相關。這表示模型之間的相對位置多半保留，卻不讓兩套考卷的分數變成可以直接相減的能力尺度。
另一個容易混淆的地方，是答對率與幻覺率各有分母。分數最高、回答最多正確題，以及最少亂猜，可能分別由不同模型達成。
理解這次更新，要在選模型前先選對衡量方式。題庫為什麼改、錯誤怎麼扣分，以及公開集能代表多少私有題，會共同影響這份榜單能支持的判斷。
AA-Omniscience v1.1 為何把題目減半？
題數減少不一定讓考試更容易，關鍵在於哪些題目被保留或移除。作者把已經飽和的問題、舊版公開題刪除，修正有歧義或錯誤的題目，再補進新問題。這改變的是整份考卷的內容，不只是縮短作答時間。
所謂飽和，可以先理解為對目前受測模型已較難拉開差距的題目。若大家都容易答對，這些題目雖能確認基本能力，卻較難幫讀者看出更前沿模型之間的可靠性差別。
移除舊公開題，也和保留測試用途有關。公開題讓研究者能檢查方法，但題目一旦長期公開，就不能假定未來所有模型都從未見過。換成新題，仍不代表已完全解決訓練資料污染，只是重新整理測量條件。
新版維持六個大領域、四十二個主題。科學、工程與數學，以及軟體工程各六百題，財金、健康、人文社會與法律各四百五十題，合計三千題。領域範圍相近，不表示每個問題仍和上一版相同。
同一個版本，也要分完整集與公開集
三千題中有三百題公開，其餘兩千七百題保持私有。公開集占十分之一，並保留相同領域比例：前兩個領域各六十題，其他四個領域各四十五題，讓外部研究者能看見測試的基本樣貌。
這種安排讓題庫同時保有可檢查與不完全公開的部分。對讀者而言，這次更新應當成新的共同測量條件，而不是舊分數表換上日期。要知道一個模型的表現，接著就得問這份考卷如何計分。
淨分數、答對率與幻覺率，三個分母怎麼讀？
同一份作答可以同時計算三個指標，但每個指標回答的問題不同。淨分數的公式，是正確題數減去錯誤題數，再除以全部題數、乘上一百。部分回答與不作答都記零，範圍因此是負一百到正一百。
零分不代表完全不會，可能是答對與答錯一樣多。負分則表示錯的比對的多。模型若把不確定的題目改成明確說不知道，可以減少錯誤扣分，但仍不能靠全部拒答取得高的正分數。
答對率更直接：正確題數除以全部題數。它不會因模型決定少回答幾題，就把分母縮成已作答的問題。因此，一個很謹慎的模型即使很少亂猜，答對率也可能受限於它真正知道的範圍。
這裡的「幻覺率」有特定定義
AA-Omniscience 的幻覺率，是錯誤回答除以「錯誤、部分回答與未作答」的合計。它觀察的是沒有完整答對的那些題目裡，有多少次模型選擇給出錯誤答案，而非承認不知道或只提供部分答案。
這和常見的「所有回答有幾成錯誤」不同，也不是所有已回答題目的錯誤率。若把官榜的百分比直接轉述成「其餘答案都正確」，就會把不同分母混在一起。
用一個假設例子來看：一百題中，模型答對六十題、答錯二十題，另外二十題不作答，沒有部分回答。它的答對率是60%，淨分數是40，按這套定義的幻覺率則是50%，因為二十除以另外四十。
這只是說明公式的本文假設，不是哪個模型的實際成績。三個數字彼此不同卻可以同時成立，正因它們分別衡量知識覆蓋、錯誤代價，以及不知道時的作答選擇。
先問一個數字把哪些答案算進分母，比先問哪個模型第一更重要。否則讀者可能以為自己在比較可靠性，實際上比較的卻是模型願意回答多少。
分數下降，為何不能直接說模型退步？
新版整體分數略低，是更換題目後的比較現象。若拿同一組模型去考另一張卷子，少了容易答對的題目，即使模型本身完全沒有更新，結果也可能下降。
原作者在十月三十一日的版本說明中，給出新舊排名的 Spearman 相關係數為0.98。這個係數看的是排序如何一起變動，接近一代表相對次序大致一致，不是每個模型的分數都只差相同一點。
公告也舉了變化較大的例子：MiniMax M3.1 Flash 的整數淨分數由16變成負6，MiMo V2.6 Pro 由8變成負5。兩者分別差二十二點和十三點，這裡的「點」不能改寫成能力下降二十二個百分比或十三個百分比。
同樣地，新版分數提高的模型，也不能只靠這項變化就宣布是新版本訓練奏效。比較同一個受測模型在不同考卷上的分數，首先顯示它對題目組合的適應差異，還需要另有模型更新證據。
把版本與推理設定一起留下來
模型名稱相同，推理強度或備援設定也可能不同。榜上標示的高強度、最大強度與預設備援，都是辨識受測配置的一部分。省略設定再把數字拼在一起，可能已經不在比較同一個條件。
如果目的是追蹤模型是否變得更可靠，較有意義的是固定題庫版本、提示方式與設定，再比較可辨識的模型版本。只保存一張沒有日期與條件的排行榜截圖，往後很難知道差距從哪裡來。
比較能力是否改變，需要相同題庫與設定。版本更新帶來的價值，是提供更合適的現況測量，不是替任何關於產品退步或進步的說法自動背書。
公開三百題，能替私有題庫做什麼？
公開集的用途是讓研究者能實際檢查題目與測試流程，而不是讓所有私有題都公開。資料包含領域、子主題、題號、問題與標準答案，外部讀者因此能知道模型到底被問了什麼。
公開資料卡也交代了作答條件：模型沒有額外脈絡，也不使用工具，只依自身能回憶的知識回答。提示要求直接給答案，若不知道、需要更多資料或工具，應明確說明，而不是猜一個看似合理的答案。
這很重要，因為日常工作往往允許查網頁或翻原始文件。一個模型在無工具記憶題上的表現，不等於它在有可靠來源、可回查的工作流程中必然得到同樣結果。
評分也有可檢查的規則
作者使用 GPT-5.6 Luna 的中等推理設定作裁判，把回答分成正確、錯誤、部分回答與未嘗試。公開資料卡附有評分提示，讓研究者可以追問某個答案為什麼被放進某一類。
例如，資料卡把準確但細節程度不符合要求的情況留給部分回答，也允許語義等價的答案。這種規則比只比對字串細緻，仍不表示自動裁判不可能誤判，或所有領域都已由人工逐題複核。
作者在發布時對八十六個模型比較公開與私有題表現，淨分數的相關係數約0.99。這表示在這組模型上，公開集大致能反映整體差異，並不是某個模型兩邊分數必須完全相同。
資料卡尤其提醒，三百題對單一領域或更小主題來說太少，不足以提供可靠的細分結果。只抽四十五題中的一小部分，再宣稱模型已通過某國法律或醫療專業測試，會超出原本用途。
高相關提供可用的近似線索，仍保留新模型、領域偏差與資料污染的界線。公開集適合幫忙理解方法，無法替未來每個模型與每個任務提供同等精確的保證。
選模型時，先把任務的錯誤成本放回來
若工作要求答錯比說不知道更危險，淨分數與拒答行為就比單純作答率更有意義。但如果一個系統幾乎每次都拒答，使用者也拿不到需要的資訊，因此不能只追最低幻覺率。
在十月三十一日的公告快照中，Gemini 4 Carbon 的高推理設定以54淨分數居前，Claude Opus 5.5 與 Fable 5.1 的最大推理加預設備援設定分別為48與46。這是淨分數位置，不是三個模型各自的答對百分比。
同一公告中，Fable 5.1 的答對率為68%，是該項最高；Argon 的高推理設定則以4%取得最低幻覺率。不同模型分別在不同問題上領先，正好說明不能把三個指標壓成一句「最不會出錯」。
以一個假設的內部知識查找工作為例，讀者可能寧可系統說缺少原始規定，也不希望它憑記憶補出一條不存在的限制。這是淨分數重視拒答的使用理由，卻不代表改用高分模型就能省掉來源核對。
相反地，若工作已提供完整文件，應看模型能否正確找出證據、引用對應段落並處理文件衝突。這些是另一套工作條件，不在本次無工具回憶題的分數裡。
台灣讀者也不應因題目涵蓋法律或健康，就推定完整測到台灣法規、在地語境與專業實務。領域名稱只是分類，是否有對應本地任務，仍要回到實際題目與使用情境。
把原始文件、可覆核答案與適當拒答放回流程，才能讓知識測試成為選擇依據。模型高分值得注意，但真正交付時，讀者仍需要知道答案出自哪裡，以及缺資料時系統會怎麼做。
AA-Omniscience v1.1 常見問題
淨分數54，代表答對54%的題目嗎？
不代表。淨分數先把正確與錯誤相減，再除以總題數。答對率則只計算正確題占全部題目的比例。看見一個模型的淨分數，無法只靠那個數字還原它答對、答錯和拒答各有多少題。
幻覺率4%，代表其餘96%回答都正確嗎？
不能這樣讀。這裡的幻覺率分母是錯誤、部分回答與未作答的合計，和全部問題不同。要知道答對多少，應另外看答對率，不能用一減幻覺率直接替代。
為何官頁還看得到六千題與舊模型？
頁面保留原始論文的摘要與背景，描述的是舊版研究。新版題數、公開集和當前榜單應以明列v1.1的資料為準。閱讀時若忽略版本，容易把舊摘要當成新公告。
只跑公開集，就能宣稱重現完整榜單嗎？
不能。公開三百題能提供整體表現線索，但兩千七百題仍屬私有，測試設定與裁判也要一致。研究者應明確說自己跑的是公開集，並保留模型版本與推理條件，讓結果能被正確理解。
延伸閱讀
原始資料來源
- Artificial Analysis：AA-Omniscience v1.1 評測頁
- Artificial Analysis：公開集、計分與評分提示
- Artificial Analysis：Intelligence Index 方法
- Artificial Analysis：十月三十一日原始版本說明
想持續看懂 AI 模型、知識可靠性與評測分母，歡迎免費訂閱 AI 郵報。
