Meta-Video 發現評測設定可差 19.5 個百分點：AI 看影片榜單該怎麼比？

Meta-Video 提醒我們，同一個 AI 影片理解模型，可能因為抽了不同畫格，得到相差很大的分數。

研究檢查影片理解評測流程，發現設定差異在特定比較中可造成最高十九點五個百分點的準確率變動。

因此，一張榜單出現提升，可能同時混合模型能力與測試方法，必須知道兩者各改了什麼。

研究提出標準化流程與較精簡的題集，但其測試範圍仍有限，不能拿來否定所有既有榜單。

對需要比較影片模型的團隊，公開評測設定，比只看最高分更能避免選錯。

先了解模型實際看到了哪些畫面，才能知道分數是否可比。

Meta-Video 為什麼從評測設定開始查？

模型看見的輸入會改變答案，因此測試前處理也是比較條件。

Meta-Video 論文公開於 arXiv，這是研究公開平台，刊登不等於期刊審查。作者研究的是影片理解如何被測量，而不是推出一個新的影片生成模型。

影片理解是讓模型根據畫面回答事件、物件或關係。假設問題問一個人先拿杯子還是先開門，測試就需要提供足以看見先後順序的輸入。

同一支影片，不代表模型看見同樣內容

實際系統通常不會把所有原始畫格全部送進模型，而是挑出部分畫面。畫格是影片中的單張影像，挑選方式便可能決定重要事件有沒有被看到。

如果一個設定剛好保留開門瞬間，另一個只看到開門前後，兩個系統收到的證據已不同。因此答案差異不能全部歸給模型推理能力。

影片本身也可能被縮小或轉成圖片序列。即使檔名相同，送入模型的內容仍會改變，這就是前處理需要公開的原因。

模型沒有換，外圍流程仍可能改變結果

模型權重是訓練完成後保存的核心參數，也就是模型學到的數值。使用相同權重有助於固定能力基礎，卻不能自動固定讀片與回答流程。

推論後端是負責執行模型的軟體。不同後端可能採用不同預設前處理，因此只報模型名稱，仍不足以重做相同測試。

榜單差距先拆成模型與設定兩部分

假設新方法比舊方法高了一些分數，但同時改了抽格與提示，就需要進一步比較。否則無法知道多出的證據是否已解釋部分提升。

這不表示所有進步都是假的，而是要求主張有對照。若固定外圍條件後仍持續領先，才更容易把差異連到模型或方法本身。

對選工具的人，這個要求也很實際。自己的系統可能使用不同輸入預算，因此榜單第一名未必在日常條件下仍有相同優勢。

其中最直接的變化，是影片被挑出哪些畫格。

抽格、前處理與提示格式如何改變測試？

輸入被改變時，同一個權重也可能接收到不同程度的線索。

論文全文分別檢查推論、抽格、輸入形式與提示。這些選擇會先改變模型拿到的資料，再影響它如何產生可評分的答案。

抽格數決定看到多少張影像，抽格位置決定看見哪一段。如果把兩者混在一起，便很難判斷結果改善是因為看更多，還是剛好看到了關鍵瞬間。

均勻抽格與固定頻率各有取捨

均勻抽格把有限張數分布在整段影片，能保留從頭到尾的覆蓋。影片越長，張與張之間距離也越大，所以短事件可能被跳過。

固定頻率則每隔一段時間取畫面，能維持較穩定的時間密度。但影片變長時，張數也會增加，因此通常還需要考慮資源上限。

假設一小時錄影只容許少量畫格，截取前段和分布全片是兩種不同證據。前者可能完全錯過後段事件，不能只用相同張數當成公平。

影片輸入與圖片序列未必走同一條路

有些模型會把相鄰影片畫格合併處理時間資訊，圖片序列則可能採另一種表示。研究因此發現，同樣挑出的畫面也可能因輸入形式而有不同分數。

這個結果是針對研究檢查的模型與實作，不能推成所有影片服務都有相同問題。但它提醒測試者，不能只看副檔名就假定處理一致。

提示還會影響答案能否被正確評分

多選題可能要求只輸出選項字母，模型若回覆長篇解說，評分程式就需要正確取出最後答案。因此提示與答案擷取方式都會影響看起來的正確率。

要求逐步思考也不保證更好。研究在特定設定比較不同提示，結果隨影片長度與輸入方式變化，所以不能把一句提示當成通用加分方法。

比較時最好一次只改一項設定，再保留其餘條件。這樣才能把分數變化連回具體原因，而不是只得到另一個難以解釋的最高分。

有些題目甚至不需要影片就能猜中，這又影響評測價值。

一千題、七百九十一支影片如何選出？

精簡題集的目的是提高可區分性與評測效率。

精簡題集不是把原資料隨機砍小就結束，還要讓剩下題目能反映影片能力。研究先處理一個問題：有些題只靠題目與選項就可能答對。

作者以黑色畫格替換真實影片，讓多個模型作答，再篩掉多數模型仍能答對的項目。這是在減少不需要視覺的捷徑，而不是證明留下的題完全沒有偏差。

黑畫格測試是在檢查需要什麼證據

假設題目用常識就能猜出答案，即使模型沒看見動作，仍可能拿分。這樣的題若很多，整體成績便較難顯示模型究竟看懂了多少影片。

但黑畫格下答錯，也不保證題目一定設計完美。模型可能有其他偏好或猜測，因此這只是篩選方法，仍要保留題目來源與任務範圍。

一千題仍要照顧不同內容

主文與摘要列出一千題、七百九十一支影片，來自既有資料集。這些數字描述精簡集合規模，不是重新錄製同樣數量的新影片。

選取時還需要考慮影片長短與問題類型。若只留下短片辨識物件，就無法代表原本也包含長片、時間順序與空間關係的測試。

因此研究比較精簡集合與原套件的模型趨勢，觀察排名是否大致保留。這有助於低成本迭代，卻不是說任何新模型都必然維持同一排名。

平均方式也會影響最後數字

短、中、長影片各有不同題數，按題數加權和把三組分數直接平均，回答的是不同問題。讀表時若忽略這個差別，就可能把不同口徑當成一次提升。

對實務團隊，題集也應配合自己的工作分布。若主要分析長會議，不能只因精簡基準含有長片，就推定足夠涵蓋會議裡的所有細節。

可以把它當成共同起點，再補自己的必要案例。這樣既保留公開比較的依據，也不會讓一份標準題集取代實際產品需求。

題集縮小後，速度數字也要按相同實驗範圍理解。

19.5 個百分點與五倍速度各代表什麼？

準確率變動與評測加速分別描述設定敏感度及特定實驗效率。

研究整理相同 Qwen2.5-VL-7B 權重在 VideoMME 的不同報告與設定，最大準確率範圍可差十九點五個百分點。它描述特定比較的設定敏感度，不是每個模型都固定相差這麼多。

百分點是直接相減的差距。以純假設例子來說，六成與七成相差十個百分點，而不是兩邊能力有相同百分比的相對成長，兩種算法不能混寫。

大差距是在提醒比較條件的重要性

若一項新方法只提高少量分數，而外圍設定本來就會造成更大波動，就需要更完整對照。這不會直接否定方法，只是讓證據必須回答更多問題。

可以先固定同一權重，重做不同設定，了解它的變化範圍。再固定設定比較新舊方法，才比較容易看出方法是否有額外貢獻。

五倍是完整掃描的評測效率

論文的約五倍，針對從四到一百二十八張畫格的完整張數掃描，使用精簡題集比較評測成本。掃描是依多個張數設定重複執行，並非一次影片問答。

所以不能說下載 Meta-Video 後，任何模型回答都會快五倍。它減少的是這套比較需要處理的題目與工作，不是直接把模型內部計算全面加速。

如果團隊只跑一個設定，或使用不同長度與模型，效率就要另算。把完整掃描的比例直接放到線上服務，會高估可節省的等待時間。

準確率與時間要放回同一張設定紀錄

研究也顯示更多畫格不一定一直更好，有些模型會提早達到高點。若只拿最多輸入當成最公平，反而可能忽略各模型使用證據的差異。

因此可以分別比較固定預算與各自最佳設定。前者回答同樣資源下誰較好，後者回答願意調整時能到哪裡，兩種結果都應清楚標示。

對選型者而言，最有用的不是只記十九點五或五倍，而是學會辨認數字的分母與流程。範圍對上自己的工作，才有理由把它用進成本與能力判斷。

這些發現可以轉成讀榜與實測的基本要求。

團隊如何建立可重現的影片模型比較？

固定影片版本、抽格與提示，再更換模型，才容易辨認能力差異。

第一輪可先選一組有正確答案與可回查畫面的影片。記下原檔版本、問題與答案位置，才能知道模型答錯是沒看到證據，還是看到了仍理解錯誤。

假設要比較產品操作教學，題目可以問按鈕操作先後與結果。這是試驗情境，不是研究新提供的教學資料，也不能只用文字常識就判定答案。

先固定能改變輸入的設定

保存抽格數、抽格位置、縮放與輸入形式。若同事只能拿到模型名稱，卻無法知道模型看了哪些畫面，就無法重做同一比較。

也要留下提示與答案擷取規則。例如最後輸出多一段文字時怎麼評分，應在比較前決定，不能看到某個模型表現不好才換算法。

再記錄執行環境與時間範圍

推論後端、版本與批次可能影響結果，因此應跟分數一起保存。批次是同時處理的題數，變更後的速度不能直接當成模型本身變快。

時間也要說清楚是否包含讀檔、抽格與結果整理。若只計模型計算，應另列完整流程等待，使用者才知道每天實際要花多久。

錯誤案例比平均數更能決定採用

可以把沒看見關鍵事件、看錯先後與答案格式錯誤分開。這樣能知道應增加畫面、修改處理流程，還是更換模型，而不是一律要求更大模型。

長片與短片也可以分開看。若平均表現不差，長片卻總漏掉後段事件，就需要回頭檢查抽格覆蓋，不能讓短片成績掩蓋必要工作。

最後用相同設定保留一份可重跑的結果，再修改其中一個條件。如果提升仍持續，證據便更接近可比較的進步，而非偶然選到有利流程。

這種紀錄不必寫成大型研究報告。只要接手者能找到輸入、設定與錯誤位置，便能讓下一次選型少一點猜測，也讓新榜單有實際對照。

未來榜單若附完整設定，讀者就更能判斷進步來自哪裡。

Meta-Video 常見問題

Meta-Video 是新的影片生成模型嗎？

不是。它是影片理解的精簡基準與評測方法，研究模型如何根據影片答題，沒有把影片生成本身加速。

十九點五個百分點代表所有模型都被高估嗎？

不能這樣推論。它是相同權重在特定基準與設定比較中的最大範圍，提醒需要固定條件，不是否定所有研究。

五倍效率代表每次影片問答快五倍嗎？

不是。它限於精簡題集上的四到一百二十八畫格完整掃描，其他模型、題量與單次服務仍需另測。

要公平比較，給每個模型最多畫格就好嗎？

仍不夠。抽格位置、輸入形式、提示與後端都會影響結果，而且部分模型在更多畫格時不一定更好，應保留設定與資源口徑。

先知道模型看見什麼，再相信它答對多少

Meta-Video 把榜單背後的輸入與設定拉回檯面。選模型時先固定影片、抽格與提示，再看能力、等待與必要錯誤，會比只取最高分更能判斷它是否適合自己的工作。

想持續追蹤 AI 工具與研究的實際用途，歡迎免費訂閱 AI 郵報。

延伸閱讀

延伸閱讀：Reason Agent 1.1 比較 Codex：同一模型，為何寫程式的成本仍會不同？

延伸閱讀：NVIDIA 研究用「關鍵修正」挑模型：還不會完整解題，也能看見程式潛力

資料來源

• Meta-Video 論文摘要與研究公開資訊。
• Meta-Video 論文全文、實驗設定與附錄。
• 原始 X 發布貼文。