AI 科技新聞

Nerf Bench 是什麼？Opus 5.5 從 94.2% 到 105.8% 怎麼讀

Nerf Bench 是 BridgeBench 追蹤模型上線後變化的榜單。本文依官方方法頁整理 50 題、150 次嘗試與 Power 分數算法，對照 Opus 5.5 的七個資料點，說明 105.8% 為何不能直接讀成「聰明了 5.8%」，以及自己的團隊該怎麼驗證。

BridgeBench 官方 Nerf Bench 方法頁的示意插圖，圖中的下降曲線只是示意，不是任何模型的測量結果，非本站拍攝／實測。圖片來源：官方原文。

10 月 21 日台灣時間早上，Theo 在 X 上貼出一張 Nerf Bench 的截圖，說覺得 Opus 5.5 變笨的人不用擔心，因為它自發布以來「聰明了 5.8%」，這則貼文到當天傍晚已有兩千多個讚。

截圖上的 105.8% 來自 BridgeBench 網站，這是一份追蹤模型上線後表現變化的榜單。它把模型發布當天的第一次測試當成 100%，之後每一次測試都拿來和這個起點比較。

但 Theo 引用的原貼文講的是另一個方向。BridgeMind 在 10 月 2 日貼出同一份榜單的結果，當時 Opus 5.5 是 94.2%，比起點低 5.8%，作者自己寫明這仍在正常波動內，還不能稱為降智。

兩個數字的差距同樣是 5.8，方向相反，卻都落在榜單自己定義的正常範圍。所以問題不在誰貼了哪張圖，而在這個分數到底量什麼。

官方方法頁說明，這個分數叫 Power，把答對率、輸出詞元數與成本放在一起算，答對率只占 60%。因此它能顯示整體表現相對起點的位置，卻沒辦法單獨證明模型變聰明，或是被降智。

我的看法是，Nerf Bench 適合拿來觀察同一條服務路徑有沒有出現持續而明顯的偏移，不適合用來裁決降智爭論。每天靠 Opus 5.5 寫程式的人，更可靠的做法是留一組自己的固定題目。

要看懂這些數字，得先知道 BridgeBench 怎麼測、怎麼算。

Nerf Bench 怎麼測？BridgeBench 的 50 題、150 次嘗試

Nerf Bench 回答的問題很單純：一個模型現在還有多少上線當天的實力。BridgeBench 自稱 AI 程式模型的獨立基準網站，頁尾署名 BridgeMind LLC，官方方法頁也寫明 Nerf Bench 由 BridgeMind 打造。

「Nerf」原本是遊戲用語，指把角色能力削弱。在 AI 圈，它被借來指模型被悄悄降級，所以榜單名稱本身就帶著立場，讀者要知道它是為了回應這種疑慮而設計。

10 月 21 日我查看網頁時，Nerf Bench 追蹤四個模型，分別是 GPT-6 Astra、GPT-6.1 Sol、Claude Sonnet 5.5 與 Claude Opus 5.5。頁面顯示最新一次測試是 10 月 16 日，沒有任何模型超出正常波動範圍。

50 題、八個類別，沒有工具也沒有模型當裁判

官方方法文在 10 月 4 日發布，說明題庫共 50 題，分成八類，全部是有明確結果的程式或推理題。因為題目要能自動判分，所以程式題直接跑測試，答案題比對標準答案。

以下我把官方表格整理成一份，方便對照每一類占多少題。

類別	題數	判分方式
修復程式錯誤	15	執行程式並跑測試
程式推理	10	比對答案
寫程式	5	執行程式並跑測試
演算法	5	執行程式並跑測試
字串處理	5	執行程式並跑測試
測試相關	5	比對答案
資安	3	執行程式並跑測試
SQL	2	比對答案

這張表加起來有 33 題程式題與 17 題答案題。程式題必須通過所有測試才算對，答案題在格式整理後要和標準答案完全相同，官方強調沒有任何模型替別的模型打分數。

修復程式錯誤一類就占 15 題，所以整體分數會比較偏向這種工作。官方也說每次嘗試只讓模型用單一回覆作答，不給工具，也不給程式庫，這樣測的才是模型本身。

題目內容、隱藏測試與標準答案都不公開。官方的理由是避免被拿去訓練，也就是避免所謂的刷榜，代價是外部讀者沒有辦法自己重算。

Power 分數怎麼算：答對率只占六成

方法文把一輪完整測試稱為一個 session，每題跑三次，所以一個 session 有 150 次嘗試。模型被追蹤時的第一個 session 就是參考值，之後固定不變，被當成 100%。

Power 由三個比值組成，答對率占 60%，輸出詞元占 20%，成本占 20%。詞元是模型處理文字的計量單位，輸出詞元愈少、成本愈低，這兩項比值就愈高，每個比值都被限制在 0 到 2 之間。

官方網頁上有一個試算器，示範答對率降到參考值的 80%、詞元與成本不變時，Power 是 88.0%，掉到 90% 下限之外。

我再依同一個公式代入另一種情況，假設答對率完全不變，但詞元與成本各自降到原來的 80%，兩項比值都是 1.25，算出來剛好是 110%。這個代入是我的推算，只用來說明公式的性質。

官方方法文也寫明，模型變得很便宜時，Power 可能上升，即使答對率下降也一樣，這類測試會被標記出來接受審查。

所以 105.8% 究竟來自答對率、詞元還是成本，要看拆分數字才知道。我在榜單頁與 Opus 5.5 專頁都沒有看到拆分，能讀到的報告頁內容也只有測量與發布時間、報告版本與相對前次的變化。

另有兩個細節會影響讀法。成本使用 OpenRouter 回報的費用，Claude Code 則使用命令列工具回報的牌價。Codex 沒有成本資料，所以只用答對率與詞元，權重改成 75% 與 25%。知道這些算法之後，就能回頭檢查 Opus 5.5 的每一個資料點。

BridgeBench Nerf Bench 官方方法頁的標題插圖，藍色處理器旁有一條下降的示意曲線 — BridgeBench 官方 Nerf Bench 方法頁的示意插圖，圖中的下降曲線只是示意，不是任何模型的測量結果，非本站拍攝／實測。圖片來源：官方原文。

0:00

/0:10

BridgeMind 官方 X 帳號 10 月 2 日貼文附的 10 秒榜單畫面，當時 Opus 5.5 為 94.2%，不是最新數字，非本站實測。來源：官方發布。

Opus 5.5 的七個資料點：94.2% 與 105.8% 都在正常波動帶內

依專頁內容，Opus 5.5 從 9 月 22 日的起點到 10 月 16 日共有七個資料點，全部落在 90% 到 110% 的正常範圍內，最低是 94.2%，最高是 105.8%。

它也是榜單上資料點最多的模型。下表是專頁的數字，其中「相對上一次」我引用專頁欄位。

測試日	Power	相對起點	相對上一次
9 月 22 日	100.0%	起點	無
9 月 27 日	99.2%	−0.8%	−0.8%
10 月 1 日	103.8%	+3.8%	+4.6%
10 月 2 日	94.2%	−5.8%	−9.6%
10 月 4 日	96.5%	−3.5%	+2.3%
10 月 9 日	95.7%	−4.3%	−0.8%
10 月 16 日	105.8%	+5.8%	+10.1%

專頁標示，最大的單次下跌是 10 月 1 日到 2 日的 9.6 個百分點。我從表格相減，最大的單次上升則是 10 月 9 日到 16 日的 10.1 個百分點。兩次變動都很大，但沒有任何一點跌破 90% 或升過 110%。

方法文說，超出範圍的結果必須連續兩次都在同一側，才會被公布成真正的變化。Opus 5.5 沒有任何一點落在範圍外，更談不上連續兩次，所以依榜單自己的規則，這七個點都只算正常波動。

這個結論同時適用於兩個方向。依榜單的規則，10 月 2 日的 94.2% 還不能被稱為降智，10 月 16 日的 105.8% 也還不能被稱為進步，兩個數字都是同一條曲線上的點。

本文附的 10 秒影片，是 BridgeMind 在 10 月 2 日貼文附上的榜單畫面，當時 Opus 5.5 是 94.2%，並不是最新一次的 105.8%，所以讀者看影片時要把日期一起記下來。

和另外三個模型比較，Opus 5.5 的起伏也最大。依榜單表格相減，它的最高與最低相差 11.6 個百分點，GPT-6.1 Sol 約 8.7，GPT-6 Astra 約 5.7，Claude Sonnet 5.5 約 4.2。

不過四個模型的資料點數不同，Opus 5.5 有 7 個，Sonnet 5.5 只有 4 個，點數愈多，觀察到的高低差通常也愈大。這個比較只能說明誰的線條比較抖，不能拿來判斷哪個模型的服務比較穩。帶著這些限制回頭看 Theo 的貼文，就能看出「聰明了 5.8%」超出了數字能支持的範圍。

Theo 的「聰明了 5.8%」哪裡讀過頭

Theo 這則貼文把 105.8% 說成「聰明了 5.8%」，至少有四處讀過頭。貼文用的是輕鬆口氣，沒有說明是否為玩笑，我也不替它下判斷，只檢查這個數字能不能支撐「變聰明」這個結論。

首先，貼文附上的截圖是 Opus 5.5 的單獨卡片，最後一個點標示 10 月 16 日，畫面上有「Normal」標籤。貼文發布在 10 月 21 日 UTC 零點多，也就是台灣時間早上，所以這張圖是約四天半前的測量。

其次，105.8% 是一個 session 的結果。方法文說明，一個 session 只有 150 次通過或失敗的紀錄，參考值也是同樣大小，所以哪幾題通過會隨機變動。

官方估計，答對率約七成的模型，單靠機率就有 95% 的情況會讓 Power 上下移動最多約 9 點，幾乎用掉整個 10 點的正常範圍。

再來是名詞的落差。Power 是答對率加上詞元與成本的混合分數，並不是智力測驗，其中還包含榜單作者自己選的 60、20、20 權重。把 +5.8% 改寫成「聰明了 5.8%」，等於把三件事壓成一件。

最後是起點本身。官方說參考值是模型被追蹤時的第一次完整測試，並沒有挑最好的一天，但它仍然只是一次抽樣，後面所有數字都相對於這一次，起點偏高或偏低都會讓整條曲線平移。

這些檢查指向同一件事：截圖支持的說法是「Opus 5.5 最近一次測試落在正常波動內」，既無法支持「它變聰明了」，也無法支持反方向的說法。榜單本身的設計，也有幾處會讓讀者不容易自行查證。

限制與風險：私有題庫、單次回答與公開頻率

題庫不公開是最明顯的限制。官方理由合理，但讀者因此無法確認 50 題是否貼近自己的工作，也看不到哪些題目在某次測試中失分，只能相信 BridgeBench 的判分流程。

測量條件和實際使用也不同。方法文說 Claude Code 在測試時沒有工具，也沒有本機設定，這和使用者在專案裡讓代理讀檔、跑指令的情境差很多，所以榜單測到的是裸環境下的模型，不是你的工作流。

官方同時指出，這份榜單測的是模型被服務的樣子，所以路由、系統指示、推理設定與輸出上限的變動都會算進去。這一點很重要，因為使用者感到的退步，往往就出在這些產品層設定。

序列資訊同樣有缺口。方法文說每個序列會鎖定供應商、模型與推理強度，並分成 OpenRouter、Claude Code 與 Codex 三種通道。

我在榜單頁與 Opus 5.5 專頁沒有看到這條序列走哪個通道、用哪種推理強度，所以無法對照 Anthropic 官方的預設設定。

公開頻率則是另一個疑點。方法文說每個被追蹤的模型每週至少測三次，有人指控時會增加。但 Opus 5.5 專頁在 10 月 5 日之後的每一週只列出一個點，也就是 10 月 9 日與 16 日。

方法文另外說，公布前有人工審核這一步，但這是否解釋了公開點數偏少，頁面沒有交代。

最後是利益揭露。BridgeBench 頁面有贊助位，並寫著 10 月 28 日期間的競標價從每月 1,500 美元起，目前顯示的贊助者是 BridgeMind 自己的網站。

這不代表結果有偏差，但讀者應知道榜單由一家自稱 vibe coding 大本營的公司經營，網站版面同時是它的廣告與贊助空間。除了榜單本身，也可以拿官方說明與其他追蹤器來對照。

對照 Anthropic 官方說法與其他追蹤器

Anthropic 在 4 月 23 日發表過一篇關於品質回報的說明，可以拿來對照使用者感覺變差時，原因可能出在哪一層。文中說，過去一個月的退步回報，可追溯到影響 Claude Code、Agent SDK 與 Cowork 的三項變更，API 並未受影響。

這三項包括 3 月 4 日把 Claude Code 預設推理強度從 high 改成 medium、3 月 26 日一個每回合都清除舊思考內容的錯誤，以及 4 月 16 日為降低冗長加入的系統指示。文中提到的模型是 Opus 4.6、Opus 4.7 與 Sonnet 4.6，不是 Opus 5.5。

Anthropic 在文中寫「We never intentionally degrade our models」，也就是公司表示從未刻意降低模型品質。

這個案例對 Nerf Bench 的讀法很有幫助。使用者感覺變差的原因，可能是預設設定、快取或系統指示，未必是模型本身，而榜單的設計把這些都算進去，所以它能偵測偏移，卻無法分辨偏移出在哪一層。

Opus 5.5 的官方頁面寫明，它的預設推理強度是 medium，輸入與輸出詞元分別是每百萬 4 美元與 20 美元，並稱同等任務用的詞元比 Opus 5 少。

這些設定與價格若在榜單期間變動，會直接改變 Power 裡的詞元與成本項，但我沒有找到相關變動的紀錄。

另一個追蹤器是 Marginlab，它在 Claude Code 命令列裡，每天跑 SWE-Bench-Pro 的一組子集。

10 月 21 日查看時，頁面寫明正在為 Opus 5.5 收集新基準、偵測暫停，最後更新日停在 9 月 29 日。

它的設計與榜單相反，題目取自公開基準 SWE-Bench-Pro，並在真實的 Claude Code 命令列裡執行，外人比較容易理解測試內容。BridgeBench 的看法則是公開題庫容易被針對性優化，所以兩種做法各有取捨。

我查到的 Anthropic 官方資料中，工程部落格列表最新一篇是 10 月 13 日談版本控管，最近一次和品質回報有關的完整說明，就是 4 月 23 日這篇。我沒有找到專門回應這份榜單或 Opus 5.5 降智說法的官方文字。

這些外部資料各有看不到的地方，所以最後還是得靠自己的測試。站內另有一篇談 Fable 5.1 上線時的降智疑慮，可對照當時的說法。

延伸閱讀：Anthropic 新模型 Fable 5.1 上線，但「降智」疑慮還沒解

誰適合參考這份榜單，誰該自己做回歸測試

適合參考的人，是想確認「多數使用者感覺變差時，有沒有可重複的量測訊號」的團隊與觀察者。Nerf Bench 把測試日、分數與方法都公開，連續兩次越過邊界時，它會是一個值得追查的警訊。

不適合只靠榜單的人，是工作流程高度客製的團隊。程式庫、工具、提示與預設推理強度都不同，榜單的 50 題幾乎不會覆蓋你的情境，所以分數正常，你的流程也可能已經變差。

比較實際的做法，是自己留一組回歸題。挑 10 到 20 個過去做過、答案可驗證的任務，固定模型名稱、推理強度與工具設定，每週同一時間重跑，記錄通過數、輸出詞元與花費。

回歸題最好包含你曾經失敗過的案例，也包含簡單到不該失敗的案例。出現退步時，先檢查自己的設定有沒有變，再看官方預設與版本更新，最後才推論模型本身有沒有改動。

回到每天的使用，推理強度也值得留意。調整強度會同時改變品質、速度與用量，這在站內另一篇文章有完整說明。

延伸閱讀：Claude effort 為什麼不必一律開最大？從熱門測試看懂速度、驗證與自主判斷

Nerf Bench 常見問題

105.8% 代表 Opus 5.5 變聰明了嗎？

不能這樣讀。榜單自己把 90% 到 110% 定義為正常波動，105.8% 在範圍內，而且 Power 同時包含答對率、詞元與成本。

這份榜單是 Anthropic 或 Theo 做的嗎？

方法頁與榜單頁署名的是 BridgeBench，頁尾公司為 BridgeMind LLC，也不是 Anthropic。Theo 的貼文是引用 BridgeMind 的貼文，再附上榜單截圖評論，我在這些頁面沒有看到他的名字。

榜單的題目看得到嗎？

看不到。官方只公開類別、題數、判分方式與一題任務的摘要，完整提示、隱藏測試與標準答案都不公開。

模型被降智時，Nerf Bench 會怎麼顯示？

連續兩次測試都低於 90%，並且是完整、可比較的 session，榜單才會公布這是實質變化。單次低於 90% 不會直接被判為降智。

看分數之前，先確認它量的是哪一件事

Nerf Bench 把一個模糊的爭論變成可以追蹤的數字，題庫結構、判分與門檻也都寫在方法文裡，這件事本身有價值。但它回答的只是「在 BridgeBench 的 50 題與設定下，這條服務路徑偏移了多少」。

Opus 5.5 目前的紀錄是從 94.2% 到 105.8%，全程在正常範圍內，既不證明被降智，也不證明變聰明。真正要決定能不能繼續依賴某個模型，仍要回到自己的任務與回歸題。

想持續追蹤 AI 模型更新與可驗證的評測方法，可免費訂閱 AI 郵報，並以官方頁面核對最新的榜單與版本資訊。