PhyProbe 替 AI 影片量測物理違規:0 到 1 的分數,能代替人類看片嗎?
PhyProbe 用影片編碼器加小型評分頭,估計 0 到 1 的物理違規程度。分清百萬參數範圍、排序與人類相關性,說明如何建立自己的門檻,輔助篩片而不取代審片。
PhyProbe 想衡量一種生成影片常見問題:畫面可以很漂亮,物體卻穿過彼此,或突然改變形狀。
研究把影片轉成物理違規分數,數值越高代表違規越嚴重,並提供研究頁與示範。
它使用已訓練好的影片編碼器,再訓練小型評分部分,因此一百萬參數描述的是評分頭,不是整套模型。
測試顯示它在多個基準有競爭力,但個別欄位仍有其他方法領先。這是依資料學習的評估器,不能代替精確物理模擬。
對需要大量篩選影片的團隊,這種分數適合協助排序,再把邊界案例交給人看。
要判斷分數能做什麼,先看它學到的是哪一種比較。
PhyProbe 如何把影片問題變成連續分數?
它估計物理違規的程度,讓影片之間可以排序。
研究主頁將分數設在零到一之間,越高表示物理違規越嚴重。這讓兩段影片可以比較程度,而不只得到有錯或沒錯的標籤。
假設一段影片的杯子輕微變形,另一段則完全穿過桌面,二元分類可能都說有問題。但剪輯者通常還想知道哪一段更需要優先回看,連續分數便有用途。
先讀動作特徵,再估計違規程度
影片編碼器會把多個畫格的外觀與時間變化,整理成模型可用的數值特徵。評分頭則是接在後面、把這些特徵轉成一個分數的小型計算部分。
凍結編碼器,意思是這部分參數在該訓練中不再更新。研究另外訓練評分頭,讓它學習如何從已有表示判斷物理問題,而不是從零重新學整個視覺系統。
因此一百萬參數描述的是小型評分頭。官方主頁另列約二十億參數的凍結編碼器,實際使用仍需負擔它,不能把整套評估器說成只要百萬參數。
分數不是違規發生的機率
例如分數較高,可以表示模型認為問題較嚴重,卻不應讀成同樣百分比的物理定律被破壞。它是學習得到的尺度,不是逐條計算自然法則的模擬器。
同一個低分也可能出現在不同畫面。系統沒有指出明顯違規,不等於已驗證每個小物件的受力、接觸與遮擋,所以仍要按用途看內容。
研究狀態與工具用途分開理解
論文頁標示 NeurIPS 2026 海報論文。它也公開於 arXiv;arXiv 是研究公開平台,刊登本身不等於期刊審查,會議資訊則依論文自己的標示。
對使用者,這提供可以追查方法與結果的來源。但是否適合自己的影片,仍不能由研究接受狀態代替,因為題材與錯誤類型可能不同。
要讓排序能跨資料使用,分數需要共同的參考。
Excited to finally share my work done in collaboration with NVIDIA Research’s Cosmos Lab @NVIDIAAI !
— Max Ku (@vinesmsuic) October 14, 2026
Introducing PhyProbe 🔍, a lightweight evaluator for physical consistency in generated videos. Accepted to #NeurIPS2026!
Generated videos can look sharp and smooth while objects… pic.twitter.com/noJ41KCNd6
排序、人工評分與錨點如何一起訓練?
不同監督訊號分別提供順序、程度與尺度上的約束。
只知道兩段影片誰比較差,仍不一定知道分數應放在哪裡。研究因此把相對排序、人工程度評分與參考端點放進共同訓練,讓它們提供不同約束。
排序是給兩段影片,指出哪一段物理問題較重。這類訊號不需要每位評分者都使用完全相同數字,但可以幫模型學到穩定的前後順序。
人工分數提供程度,卻也有誤差
人工程度評分會直接標記看起來有多嚴重,但不同人可能對相同片段給出不同數值。因此研究把它當成帶有雜訊的訊號,而不是毫無誤差的尺。
假設一位評分者特別在意物件變形,另一位更注意重力方向,兩人的分數可能不同。這是解釋評分差異的例子,並非新增研究受測者統計。
若只有排序,模型可能把所有影片分數擠在很小範圍,仍維持正確順序。若只有人工分數,則可能較依賴資料集自己的打分習慣,所以兩種資訊有互補用途。
錨點讓尺度有共同參考
錨點是先指定的參考位置。研究把真實影片與明顯合成失敗放在尺度兩端附近,幫助模型把不同來源的訓練訊號接到同一範圍。
這是一種校準安排,不能解讀成真實影片沒有任何視覺疑義,或所有生成片都應接近一。生成內容也可能很合理,重點是問題程度而非來源名稱。
訓練方式不等於每次都需要兩支影片
成對資料用來學排序,但正式評分時只需要單支影片,不需要使用者再提供一支參考片。這讓它比較容易放進大量候選影片的整理流程。
不過,單片能評分並不代表它會自動知道創作者意圖。如果影片刻意讓物體漂浮,分數可能仍反映物理不合理,而不是作品是否達成藝術效果。
因此訓練尺度與使用標準要分清楚。研究提供共同衡量方向,採用者仍要決定哪些違規影響這次用途,以及哪些屬於可以接受的設計。
訓練方式確立後,仍要看分數和人的觀察能否對上。
官方基準與人類評分相關性說了什麼?
平均領先代表跨資料表現有價值,但個別基準仍存在不同強項。
主表的任務是比較影片對,判斷誰的物理問題較重。研究列出 PhyProbe 的加權平均準確率為百分之八十二點四,權重依各基準的影片對數量計算。
這個平均數不代表每個題材都達同樣表現。若某個資料集包含較多配對,它在平均裡影響也較大,因此讀表時仍應回看個別欄位。
領先平均,不等於每項都第一
例如主頁的 VideoPhy2 比較中,Gemini 3.1 Pro 的配對準確率高於 PhyProbe。這表示不同方法有不同強項,不能把整體平均的領先改寫成全部測試獲勝。
資料關係也有差異。有些配對共享文字或起始影像,有些沒有對應關係,評估器能利用的線索不同,所以分數應保留原測試設定。
排序接近人,和分數高低接近人不同
相關性描述兩種評分如何一起變動。排序相關關心影片前後次序是否一致,線性相關則看數字升降是否有相近關係,兩者都不是正確率。
研究比較人類評分時,先把方向對齊成越高越合理。因為 PhyProbe 原始輸出是越高越違規,如果不先處理方向,就可能把一致誤讀成相反。
主頁的人類相關性平均另採自己的彙整方法,不能與前面的加權準確率混算。兩張表分別回答排序能否分對,以及分數和人的判斷如何對上。
人類喜好也不只由物理決定
研究另看一般影片偏好,顯示物理問題與整體品質有關。但一段影片是否受歡迎,還包含敘事、風格與聲音,不能只由物理分數代表。
例如廣告的動作合理,卻把產品文字做錯,物理評估仍可能很低分。若團隊因此直接放行,就會漏掉與物理不同的交付要求。
因此這些基準適合說明評分工具值得比較,不能代替自己的驗收集合。尤其是題材和研究資料差很多時,應先看哪些錯誤仍會被漏掉。
這也決定它比較適合放在流程裡哪個位置。
影片篩選如何使用分數,才不會過度解讀?
分數可協助找到值得複查的片段,無法單獨證明影片完全符合物理。
最直接的用法是先排序,再讓人優先回看較可疑的片段。這能幫助安排注意力,但最後是否採用,仍取決於影片的用途與其他品質要求。
假設團隊一次產生許多產品展示版本,可以先依分數排出檢查順序。這是本文的流程建議,沒有宣稱 PhyProbe 已內建完整剪輯看板或自動發布功能。
門檻不是看到零到一就能直接決定
分數落在哪裡需要人工回看,應由自己的例子建立。任意選一個數字當標準,可能讓少數嚴重問題被漏掉,也可能把正常畫面全部擋下。
可以先把人工認為可用與不可用的片段放在一起,看分數分布是否分開。若兩組大量重疊,就不能只靠單一門檻完成篩選。
誤判的兩個方向,成本可能不同
把可用片誤判為有問題,會增加回看或重做。把明顯錯誤判成可用,則可能影響交付,兩者要按工作後果分別記錄。
如果影片只是內部概念討論,可能容許更多人工挑選。若要正式展示商品動作,就需要更重視漏掉關鍵錯誤的情況,不能沿用同一放行標準。
物理分數之外,保留其他檢查
品牌文字、人物身分、產品外觀與對白,都不是這個單一尺度完整涵蓋的內容。分數低只能作為一項線索,仍要接回對應的人與檢查方式。
對藝術作品,還應標出刻意超現實的內容。否則模型可能把風格成功的片段排到最差,使用者卻誤以為整支作品品質低。
更新門檻時,不要忘記舊的邊界案例
可以保留曾被錯判的片段,每次更換模型或調整門檻都重看。這樣才知道改善某類錯誤時,是否同時增加另一類漏判。
工具的價值應看是否減少找問題的時間,而且重要錯誤沒有更常漏掉。只有回看量下降,卻沒有保留錯誤紀錄,還不足以說明流程更可靠。
要決定篩選門檻,還需要自己任務裡的例子。
團隊可以怎麼建立自己的檢查集合?
把可接受的藝術變形和會影響用途的錯誤分開標示,才能測出誤判。
自己的檢查集合不必一開始很大,但應包含常見用途與真正會影響採用的錯誤。先把標準說清楚,才能知道模型分數與團隊需要是否接近。
可以用一組明示假設的題材:杯子落桌、人物拿起物品、布料移動與鏡頭遮擋。每種都安排合理片段與有問題片段,而不是只放最誇張的失敗。
錯誤標註要說出影響哪個事件
例如物件在接觸桌面前已穿過去,和快速動作造成的模糊不同。標註若只寫「看起來怪」,就很難知道評分器學到的判斷是否符合團隊要求。
也可以標出錯誤開始的時間,方便人工回看。若單支影片分數很高,接手者仍需要找到具體片段,才能決定是剪掉、修改或重做。
真實影像與藝術效果都要有對照
快動作、反射與遮擋可能讓正常事件看起來不尋常。把這些例子放進去,可以測出工具是否過度懲罰畫面難度,而不只是測會不會抓明顯穿模。
藝術效果則應另標記用途。漂浮物件在寫實商品示範可能不適合,在魔幻短片可能正是目標,因此同一物理判斷需要不同交付決定。
把人工判斷與模型結果分開留下
先讓人依相同標準評估,再比較模型分數,可以減少先看到數字就跟著判斷的情況。若人與人也經常不同,應先釐清標準,而不是全部歸因於模型。
接著分開記錄排序、漏判與回看時間。排序有幫助但門檻不夠穩定時,仍可只把工具用在安排順序,無須急著全自動放行。
來源版本、影片檔案與評分設定也要保存。若影片被重新剪接或壓縮,輸入已改變,分數差異就不能直接當成模型更新的效果。
最後挑出自己最在意的失敗類型持續追蹤。當工具能穩定幫忙找到它們,再擴大影片量,比把所有內容都交給同一個數字更有依據。
保留人工回查,會讓這個評分工具更接近實際剪輯需求。
PhyProbe 常見問題
PhyProbe 分數越高,影片就越好嗎?
相反,原始分數越高表示物理違規越嚴重。與人類合理度評分比較時,研究會先對齊方向,不能混用兩種尺度。
一百萬參數就是整套模型大小嗎?
不是。一百萬只描述評分頭,還要搭配凍結的影片編碼器;實際執行資源不能只按小頭的規模估算。
百分之八十二點四是每支影片判斷都準嗎?
不是。它是特定基準的配對加權平均準確率,個別資料集仍有差異,也不代表每個物理現象都已被驗證。
可以用一個門檻直接代替人工看片嗎?
應先用自己的影片驗證。工具適合協助排序,藝術變形、產品細節與邊界案例仍需人按用途判斷。
讓分數幫忙找片段,讓用途決定能否採用
PhyProbe 把物理問題整理成可比較的尺度,適合用來安排大量候選的回看順序。先建立自己可接受與不可接受的例子,保留漏判與人工判斷,再決定篩選門檻,會比直接把低分當合格更可靠。
想持續追蹤 AI 工具與研究的實際用途,歡迎免費訂閱 AI 郵報。
延伸閱讀
延伸閱讀:Gemini 機器人看影片學投沙包:七連中示範,模擬訓練改變了什麼?
延伸閱讀:Scenario Blender 外掛開源:把 AI 圖片、影片與材質帶進 3D 現場