MKA 多模態代理評測登場：200 項專業工作，為何要直接打開試算表驗收？
MKA 多模態代理評測用兩百項專業任務檢查跨檔理解與成果交付，解析評分條件、專家一致率、品質成本比較，以及十個公開展示題的用途。
MKA 關注的是完整工作：請 AI 交一份分析簡報，和請它在聊天框答對一題，需要的能力並不相同。即使文字流暢，只要漏讀圖表或把試算表公式寫錯，交付品仍可能無法使用。
Google DeepMind 與 Artificial Analysis 在 11 月 10 日推出 MKA 多模態知識代理評測，把這種完整工作納入測試。任務要求模型查看資料與使用工具，多數還要產生能被開啟檢查的檔案。
私有評估集有 200 項任務，涵蓋十個產業領域與 83 種職業。每題包含多種輸入與具體驗收條件，要求模型把看到的資訊轉成能交付的成果。
每題平均約七十項驗收條件，評分規則約 75% 對應事實正確、25% 對應視覺設計。因為模型得交出成品，評分者也要實際查看文件內容與呈現。
這種設計更接近實務驗收，但仍是一套特定資料、工具和評分規則。公開的十個展示題，也不是把兩百題完整測試集全部釋出。
MKA 較適合作為企業設計驗收題的參考。先看它怎麼讓圖像與交付檔案成為必要條件，才有辦法解讀名次和費用。
MKA 測的是交付文件，而不只是答題文字
MKA 要求代理跨檔理解圖像資料，多數任務還要產生能獨立使用的檔案成果。多模態指的是同時利用文字、圖像與表格等訊息，而不是只把附件全部抽成文字。
這個差別會在圖面工作中特別明顯。建築平面圖的尺寸、元件位置和連線方式，可能本來就靠圖形表達，文字辨識即使沒有錯字，也不一定保留它們的空間關係。
如果任務還要交試算表，模型就必須把讀到的資訊轉成數值、公式與說明。來源理解正確只是起點，輸出檔案能否被下一個人接手，才是完整工作的結果。
Google 的公告指出，多數既有知識工作評測只用文字也能完成，因此不足以檢查這類能力。MKA 的題目設計刻意讓視覺資訊成為解題的一部分。
官方技術報告中，每題有二到四十五個輸入檔案。因為資料分散，代理必須決定先開哪個檔案、資訊是否互相對應，以及何時要回頭查看原圖。
約 88% 的題目要求獨立檔案成果，其他題型則有不同交付方式。所以這個評測不能簡化成每一題都做同一種簡報，也不能只以聊天回答是否流暢評分。
技術報告還進行移除看圖工具的比較。對 Carbon 而言，MKA 分數下降且需要更多操作，表示在這個測試中，繞道用文字或程式處理並不能完全補回視覺資訊。
這種比較仍只測了特定模型，不能直接外推其他模型都會出現一樣差距。但它讓「會不會看圖」從宣傳用語，變成可以透過工具條件檢查的問題。
這些成果需要什麼品質，會由任務的具體驗收條件決定。驗收條件若只看格式是否完成，就仍可能漏掉內容錯誤。
200 項專業工作，如何拆成可檢查條件？
評估把每份交付品拆成多項是非條件，區分內容正確與視覺呈現。私有評估集有兩百題，十個產業領域各二十題，並涵蓋八十三種職業情境。
這樣的分布讓單一領域不會因為題數特別多而占據整張榜單。但每個領域仍有自己的工作差異，總分高並不表示每種職業的成果品質都一樣。
專家替任務設計提示、輸入資料與驗收規則，平均每題約七十項檢查。評分規則約 75% 對應事實正確，另外約 25% 對應視覺設計。
事實正確可以涵蓋計算值、必要欄位與資料是否對應，視覺設計則關心交付品如何呈現。因為成果必須被人使用，內容正確但重要資訊被裁切，也可能影響交付品質。
是非條件的優點，是讓檢查對象具體。例如要求的欄位是否存在，或數字是否落在允許範圍，通常比「這份報告看起來專業嗎」更容易形成一致判準。
不過，各條件仍有權重差異。缺少關鍵結論和少一項細微格式，不應被解讀成完全相同的錯誤，所以論文使用加權達成率呈現整體表現。
加權達成率代表符合多少驗收條件，不是整份任務完全無誤的比例。一份檔案即使拿到不錯的分數，仍可能留下會阻止實際交付的關鍵問題。
對企業而言，這也提示了自己的測試設計。先標出什麼錯誤不能接受，再看平均分數，才不會因為大量簡單格式都通過，就掩蓋少數重要內容失敗。
條件訂得再清楚，也需要確認評分者是否真的看到了檔案裡的問題。這正是 MKA 讓評分工具同時看畫面與內容的原因。
模型評分者會打開檔案，96% 一致率怎麼讀？
官方使用非 Google 模型評分，並以專家核對衡量評分的一致性。評分代理會打開檔案、呈現頁面，也能查看試算表公式，避免只憑最後一段回答下結論。
畫面和檔案內容必須一起看，因為兩者會露出不同錯誤。頁面截圖可以發現文字重疊，卻不一定看得出儲存格只是貼上數字，還是保留可以更新的公式。
根據官方技術報告，評分代理使用 GPT-6 Luna。選用不同模型家族，是設計上減少偏向自家模型的一種做法，但不能單憑這點保證完全沒有偏差。
人類核對研究涵蓋五十項任務，重點放在較高權重的內容、數值與結構條件。模型評分者和專家在條件判定上的一致率為 96.2%，不是受測代理完成工作的成功率。
一致率的分母是判定條件，不是五十份成品都被認定完美。若把它換寫成「AI 工作正確率九成六」，就會把評分工具的可靠程度誤放到執行模型身上。
論文也承認，這個結果不一定原樣適用較低權重的格式檢查。因為核對樣本特別著重實質要求，微小版面差異仍可能有不同的判斷難度。
模型評分者只會取得候選成果與自足的評分規則，不會像人類專家那樣同時拿到原始輸入。因為判準必須寫清楚預期數值與性質，規則本身的品質就成了驗收的重要環節。
若公司沿用這種設計，不能只寫「依原始附件作答」就交給評分模型。應把必要答案、容許差距與檔案位置講清楚，否則它可能無法區分成果真的正確，還是文字只是看起來完整。
正式測試中，每個模型對每題執行一次，評分也採單次流程。因此公布的不確定範圍，沒有完整涵蓋同一代理反覆重跑或評分者重判時的波動。
這使排行榜適合觀察當次實驗結果，但不適合當成下一份文件必然達到的品質保證。重要交付品仍應保留能追溯到內容的驗收紀錄。
確認評分方式後，還要比較被評模型是否使用相同工具和運行條件。否則分數差距也可能來自工作環境，而不只是模型能力。
同一工具環境，為何仍要同時看品質和費用？
共用執行框架能減少工具差異，卻不能抹去模型在推理量與完成策略上的差別。MKA 使用名為 Stirrup 的開放代理框架，讓各模型在相同工具、指令和資源上工作。
執行框架就是安排模型查看檔案、執行程式與結束任務的工作環境。它不像單純問答，需要支援模型多次操作，才能從來源檔案做到最後成果。
相同環境比較容易看出模型是否懂得選工具。某個模型可能反覆嘗試程式處理，另一個則直接查看圖面，即使最後分數相近，使用時間與推論量仍可能不同。
官方報告中，Fable 5.2 與 Carbon 的整體加權達成率約為 73.3% 與 71.9%。在較有挑戰的條件子集上，前段模型的差異仍落在統計不確定範圍內。
因此，名次相鄰不代表品質已經明確拉開。讀者還要看成本資料，才知道不同工作策略是否以更多運算換取相近的交付結果。
當次估算裡，Carbon 平均每題 API 費用約為榜首模型的六分之一。論文的成本包含供應商當時定價與提示快取計費，不能直接當成每家公司的帳單比例。
提示快取是重複輸入能以不同費率處理的機制，對多回合代理尤其重要。若自家流程沒有相同快取條件，套用相同 token 數也可能得到不同費用。
模型、定價和工具版本改變後，榜單都需要重新閱讀。品質與費用應一起保留測試日期，公開題目則提供另一種實際觀察方法。
十個公開展示題，能做哪些練習？
公開資料包含十個獨立展示題及評分規則，可用來了解驗收設計，而不是重現完整私有榜單。兩百題正式測試集由 Artificial Analysis 保持私有，目的之一是降低題目被搜尋或進入訓練的機會。
Hugging Face 官方資料頁列出展示題的輸入、任務描述與評分規則。它們和私有集分開，因此不能把十題跑出的結果冠成完整 MKA 成績。
這些展示題的價值，是讓團隊查看一個工作怎麼被定義。先檢查原始要求和評分條件是否相符，再看模型產出，通常比直接跑出一個分數更能發現問題。
若要在內部重做練習，可以固定模型版本、工具環境和可用時間。因為條件穩定，下次更換模型時，才容易知道錯誤是否減少，或只是多用了資源。
公開題也不應成為唯一驗收資料。模型可能已經接觸相似格式，而公司的文件命名、圖表風格與必要欄位不同，仍需要用自己的授權資料補充測試。
延伸閱讀：OpenVLHarness 視覺代理框架：不重訓模型，工具與多模態記憶能改善哪些看圖工作？
延伸閱讀：Microsoft 企業合成資料怎麼測 Copilot？三種產業情境與評估邊界
把這種驗收方式放進自己的文件工作，通常比照搬總名次更有用。能指出哪項要求沒完成，後續修正才有具體方向。
MKA 常見問題
MKA 是可以直接訂閱的辦公代理嗎？
它是評估代理工作能力的測試基準，不是辦公應用程式。團隊可以研究公開題目或查看榜單，但要執行自己的工作，仍需模型、工具與檔案環境。
分數七成，代表七成工作不用人看嗎？
分數是加權條件達成率，並不是無需人工覆核的任務比例。實際交付時，少數關鍵條件未達成就可能影響整份成果，因此應另外設定必要通過項目。
從一份不能交差的文件，建立自己的代理測試
已有固定報告或試算表需求的團隊，可以先把常見錯誤轉成可檢查條件。MKA 的實用啟發，是把輸入理解、檔案生成與最後驗收連成同一件工作，而不是只評聊天表現。
第一次練習可以挑一份曾經需要返工的文件，標出來源、數值與版面要求，讓不同模型依相同條件完成。這樣留下的錯誤，才容易對應到下一次流程改進。
讓模型交成果、讓人員按同一套要求驗收，再保留人工修正時間與實際費用，才能知道下一次升級是否真的減少返工。這比只追著排行榜換模型，更接近可持續的採用決策。
