BenchBench:文件只歪幾度,為什麼解析器排行榜就換人?

BenchBench 用八種文件解析器測十二個公開評測,頁面傾斜二至四度就讓六項換第一。本文說明計分規則、AI評審限制與企業文件測試方法。

Share
BenchBench 官方主視覺,以傾斜三度的文件和標題呈現解析評測研究
Reducto 的 BenchBench 主視覺用三度傾斜的文件,對應研究檢查頁面角度對評測的影響。 圖片來源:官方原文。

選文件解析器時,排行榜第一名看起來像最省事的答案。但 BenchBench 把同一頁文件只傾斜幾度,原本的名次就出現變動,讓採購決定多了一個需要回答的問題。

文件解析器負責把 PDF 或掃描頁轉成可供程式處理的文字與表格。如果數字都讀到了,卻把描述估計不確定性的標準誤放進另一個位置,系統究竟該判錯多少,也會影響最後的排名。

Reducto 在 2026 年 11 月 17 日公布這項研究,用八種解析器跑十二個公開評測。研究同時改變頁面角度與評分方式,因此能分開觀察輸入品質和評分規則的影響。

依各評測原有規則計分,十二項中有六項換了第一名。這表示接近的領先差距,可能不足以支持某個工具在所有實際文件上都較好,仍要看變化出在哪些頁面。

研究值得文件自動化團隊參考,但作者同時販售解析服務,也參與新評審的開發。採購者適合把它當成檢查排行榜的方法,不能把另一張排行榜當成免測試的答案。

要用這項研究改善選型,就得先區分讀錯內容、輸出格式不同與文件本身變歪,因為這些問題需要的修正方式並不相同。

BenchBench 怎麼測文件解析器?

它固定文件內容,再改變頁面角度,讓團隊能看見原本排名有多少依賴輸入條件。

官方研究把八種工具放進相同框架,包含 Reducto、LlamaParse、Datalab、Extend、Mistral OCR、Azure Document Intelligence、Pulse 與 Cohere。

每個工具使用一種設定,因此不能當成各家所有模式的總評。

研究在每項評測最多抽五百頁,並固定抽樣用的隨機起點,方便別人取出相同頁面。它先跑原始文件,再依既有傾斜協定,把同一批頁面旋轉二至四度,模擬手機拍攝或掃描時常見的不正。

這種設計的優點是內容沒有換,因此排名變化較容易連回頁面處理能力。如果直接換一批更難的文件,就會同時改變題材與畫面品質,無法知道工具是怕歪斜,還是原本就不擅長那類內容。

但一種設定也會留下限制。有些服務可能提供更慢的高品質模式,或允許使用者額外指定表格規則,這次結果不會自動涵蓋那些選項。採購者需要把研究設定與自己預計購買的入口對起來。

此外,最多五百頁是每項抽樣上限,並不表示十二項都剛好有相同頁數。因此閱讀彙總結果時,應保留評測各自的文件組成,避免把它誤當成單一大型隨機企業文件調查。

對實務團隊而言,可學習的是保留原頁與轉換頁的配對方式。只要每份文件都有相同編號,就能回查同一個金額在旋轉前後如何被讀取,而不只看到最後一個平均分數。

同一批內容都有了兩種輸入,評分規則如何處理輸出就成了下一個變數。

BenchBench 官方主視覺,以傾斜三度的文件和標題呈現解析評測研究
Reducto 的 BenchBench 主視覺用三度傾斜的文件,對應研究檢查頁面角度對評測的影響。 圖片來源:官方原文。

六項換了第一名,代表什麼?

排名變動說明領先差距脆弱,但無法直接換算成企業文件的錯誤率。

依原有計分規則,傾斜後的分數相對降幅中位數為 2.2%。這是分數相對於原分數的變化,不等於解析器新增了同樣比例的錯字,也不能直接用來估算公司每月會多處理多少異常單據。

十二項評測中有六項更換第一名,則是在說名次對小變動敏感。假設兩個工具本來只差很少,任何一方遇到幾頁不擅長的表格,就可能把原本領先吃掉,因此第一與第二的距離比名次本身更值得看。

研究還發現,九項評測的原始領先差距,比解析器傾斜後的中位相對損失還小。這個比較包含第一名沒有換人的項目,所以它和六項換第一並不矛盾,兩者衡量的是不同事情。

第一名沒換,也可能只是各家一起退步。對文件處理團隊而言,穩住名次卻增加大量待人工核對的欄位,仍可能造成營運負擔,因此不能只問最終誰贏,還要看同一工具前後錯在哪裡。

相反地,排名交換也未必足以改變採購。如果兩個工具的差距都小於人工修正成本的波動,改供應商可能先增加維護工作。較合理的做法是追蹤關鍵欄位漏讀、表格關係錯置與無法使用的頁面比例。

這些結果也不支持「所有評測都失效」的結論。標準化測試仍能提供共同起點,只是當成績接近時,需要額外檢查它對文件角度、版型與評分規則的敏感程度。

除了看名次會不會換,也要檢查低分究竟來自遺失資訊還是格式差異。

保留所有數字,為什麼仍可能零分?

部分評測把輸出排列也當成正確答案的一部分,所以語意完整仍可能不符合規則。

官方列出一張迴歸分析表的例子:解析結果保留係數與標準誤,卻把標準誤放在係數同一格,而不是獨立成列。標準誤是描述估計值不確定程度的數字,位置改變後,人仍可能理解,規則式評分卻給了零分。

這會產生一個重要區別。若目標是讓研究者閱讀表格,保留所有數值可能已經很有用。若下游程式固定從第二列取標準誤,同一份結果就可能破壞計算。因此格式是否必要,要由後續用途決定。

另一個例子保留文字與刪除線,卻沒有裝飾樣式,也被判為零分。裝飾在某些任務可省略,但在合約修訂或需保留註記意義的文件中,視覺差異又可能有實際用途,不能一律視為無害。

研究把兩個輸出案例公開,讓讀者回到頁面與結果比較。這比只引用零分更有價值,因為採購者可以判斷自己的流程究竟需要語意等價,還是精準對齊既定格式。

也因此,測試規格最好先寫清楚哪些欄位必須完全一致。例如財務金額與正負號可能採嚴格規則,段落空白則允許不同。把這些要求分開,才能避免裝飾差異掩蓋了真正重要的金額錯誤。

若有人工修正階段,還可把修一頁所需的步驟列入記錄。兩個同樣得到低分的輸出,可能一個只要調整欄位位置,另一個得重讀整頁。對營運成本而言,兩者差距很大。

要判斷這種零分是否合理,就得回到文件後續由誰使用。

換成 AI 評審,能解決評分爭議嗎?

能讀原始頁面的評審可以檢查內容,但它自己也有誤差與利益關係需要檢視。

研究另用 PAIR 這個 AI 評審查看原始直立頁面與八份輸出,隱去供應商名稱,再先列錯誤、後給一至十分。它能看內容關係,因而有機會辨識形式不同但資訊相同的輸出。

換成這套方式後,十二項中有兩項更換第一名,分數相對降幅中位數則為 4.0%。名次較穩定不代表沒有處罰品質下降,因為各家仍可能一起掉分,只是相對次序較少交換。

不過 Reducto 同時販售解析器,也開發這套評審,官方承認自家工具在其中多數比較勝出。匿名供應商有助於降低品牌線索,但不能消除評分標準本身偏好某種輸出的可能性。

作者另以外部標註團隊檢查三百組成對比較,每組至少三份評分並覆核。在人與 PAIR 都選出勝者的比較裡,一致率為 84%。這個數字有篩選條件,不能當成所有文件判分的正確率。

研究也更換提示與評審模型檢查敏感度,並公開輸出及判決。但可重跑只是讓問題能被檢查,並不等於任何判決都已由獨立團隊確認。因此使用者仍適合挑關鍵低分頁做人工覆核。

如果企業要求欄位固定,規則式評分依然有用。較完整的做法,是用嚴格欄位檢查守住不可出錯的部分,再用內容評審找出難以用格式規則表達的問題,而非只留一個總分。

因此實務上的重點是把不同評分方式與人工抽查接起來。

採購解析器時,怎麼把研究變成測試?

用自己的文件建立可回查的樣本集,比直接採用公開榜單名次更接近實際需求。

可以先蒐集公司實際收到的清楚文件、輕微歪斜掃描與手機照片,保留各類占比。樣本應涵蓋重要版型和容易出錯的金額欄位,因為若只挑最乾淨的頁面,測試就看不到正式環境的麻煩。

接著把同一批文件送到候選服務,固定日期、版本、模式與費用設定。若某家更換了模型或預處理方式,應另留一組結果,才能知道改善來自產品更新,還是測試條件被換掉。

驗收可以分成可機器檢查與需人判斷的部分。前者例如欄位是否缺漏、總金額是否相符,後者例如註腳是否接到正確段落。這能讓不同部門對錯誤嚴重程度有共同標準。

最後再把每頁價格、等待時間與人工重做量一起比較。這裡的重做量必須來自實際觀察,不能拿某個公開分數直接換算,因為同樣一個錯格在不同企業可能造成不同後果。

若工具只用在搜尋前的文字索引,部分版型差異可能可接受。若要自動核帳,就應優先守住金額、幣別與欄列關係。任務差異解釋了為什麼同一排行榜無法替每個團隊做最後選擇。

BenchBench 的實用價值,在於把大家常略過的測試條件具體化。團隊可以沿用這種檢查方式,但不需要照單全收作者偏好的評分方法,選型仍要回到自己的文件與工作責任。

當錯誤類型與容忍範圍都明確,排行榜才有適當的用途。

BenchBench 常見問題

BenchBench 證明排行榜都不能信嗎?

沒有。它顯示部分接近的名次會受輕微傾斜與評分規則影響,因此需要檢查差距、低分案例與自己的文件。

2.2% 是新增錯誤率嗎?

不是,它是原有評分規則下的相對分數降幅中位數。分數如何對應實際錯誤,要回到各評測的計分方式。

PAIR 能取代人工覆核嗎?

研究未證明可以全面取代。它能協助看出內容關係,但關鍵欄位與評分爭議仍需要人工核對。

先找出會影響工作的錯誤,再看誰排第一

如果正要選文件工具,可以先保存十幾份具有代表性的頁面,列出不可出錯的欄位,再比較兩個候選服務。先把會影響工作結果的錯誤找出來,之後擴大測試才有方向。

對已上線的團隊,則可以把輕微旋轉加入回歸測試,觀察原本通過的欄位是否改變。當排行榜的分數能接回具體頁面與修正紀錄,它才會成為有用的選型依據。

延伸閱讀:Nemotron 3.5 Parse 文件解析:6.31 億參數如何讀 PDF,75.20 分代表什麼?

延伸閱讀:Cohere Compass 影片搜尋開放私人預覽:找到時間點,為何比找到檔案更難?

資料來源

Read more