PAN 2 世界模型開源:先模擬再行動,34% 完整計畫完成率代表什麼?

PAN 2 開源世界模型,先用文字規劃再生成影片。解析75.1%逐步成功與34%完整計畫成功率、未測失敗案例,以及部署與授權條件。

Share
PAN 2 官方主視覺與世界模型生成畫面
IFM 的 PAN 2 官方主視覺,畫面是研究模型示意,不代表實際動作已經成功。 圖片來源:官方原文。

PAN 2 在 11 月 10 日發表並開放模型與程式碼,希望讓 AI 在動作之前先模擬後果,看看一個計畫可能把場景變成什麼樣子。

它呈現的是生成影片,不是現場錄影。畫面再像真的,也只代表模型產生了一種可能的未來,仍需要檢查物件與因果是否一致。

官方內部測試的逐步成功率為 75.1%,完整計畫成功率則是 34%。兩個數字放在一起,剛好說明單步看對不代表整串行動都可靠。

因此,這次開源更適合研究如何發現規劃漏洞。若要讓模擬結果影響機器人的真實動作,仍需要另外驗證現場條件與安全要求。

對開發團隊來說,值得追問的是文字推理與影片生成如何分工,以及評測沒有涵蓋哪些失敗情境。這比只挑最順的一段影片更能判斷用途。

先從這種分工理解 PAN 2,才能回頭判斷那些流暢展示究竟測到了什麼。以下依 2026 年 11 月 12 日讀取的官方技術文章、產品頁與模型卡說明。

PAN 2 世界模型如何先想再畫

這個架構先用文字推理整理場景狀態,再讓感知模型生成相應畫面。世界模型的目標,是描述環境受到行動影響後可能如何改變,讓代理能在採取動作前多一種檢查線索。

IFM 技術文章把方法稱為 GLP,核心是將概念推理和感知生成分開。概念部分用文字追蹤物件與事件,感知部分則把這些描述轉成影片。

例如,要求把一個物件移到另一個位置,文字階段可以先說明起點、終點與中途變化。影片階段需要讓物件在畫面裡沿著相應過程移動,兩者不能各說各話。

如果只看畫面是否漂亮,很容易忽略因果斷裂。物件可能突然出現、穿過遮擋,或在後面幾秒改變形狀,視覺連續不等於動作後果合理。

文字描述提供了另一層比較依據。研究者可以分別觀察計畫本身有沒有矛盾,以及生成影片是否遵守這個計畫,避免把兩種問題全歸成模型不懂物理。

官方開放的感知主幹有二百九十億參數,但整套流程還包含文字編碼器與影像壓縮元件。不能把單一主幹的規模當成完整系統只有這些運算需求。

這種拆分也允許研究不同概念推理模型的影響。換用文字模型後,影片結果可能跟著變化,因此比較時需要同時記錄前面的推理設定。

兩個階段能互相配合,仍需要清楚的時間與物件描述才能接上連續動作。這讓一個看似簡單的提示,實際上包含不少需要對齊的條件。

PAN 2 官方主視覺與世界模型生成畫面
IFM 的 PAN 2 官方主視覺,畫面是研究模型示意,不代表實際動作已經成功。 圖片來源:官方原文。
IFM 官方 PAN 2 發表影片,包含生成模擬畫面,不是實際世界事件錄影。 來源:官方原始貼文。

一段動作如何變成可檢查的模擬

描述必須讓模型知道何時發生什麼變化,才能比較畫面是否遵守計畫。只有「完成整理」這種結果要求,無法清楚分辨是哪一步造成場景偏離。

PAN 2 支援文字輸入,也能使用起始圖片搭配文字。起始圖片提供場景線索,但後續仍是模型生成,不能把第一張是真圖就延伸成整段影片都是真實紀錄。

官方模型卡列出最長二十秒、每秒二十四格,以及 704 × 1248 的影片規格。這描述一次生成的範圍,並沒有承諾任意延長都能保持一致。

如果把前段最後一格當成下一段起點,模型可以繼續產生內容,但單一畫格無法保留先前所有狀態。物件外觀、位置與細節仍可能逐段漂移。

這種限制影響長任務的判讀。一段較短動作看起來成功,接成更長計畫後,前面的細微變化可能累積,讓後續動作面對的環境和原先不同。

因此,評估模擬時值得先固定起始場景,再把每一步應改變與不應改變的部分說清楚。例如移動某個物件時,背景物件不應無故消失,容器也不應自行改變大小。

這些是研究比較的方式,並非本站已做出的測試結果。官方展示本身也包含精選與提示調整,不能把一個完成片段當成所有輸入的共同表現。

有了可比較的步驟,接著就能理解逐步成功與完整成功為什麼分開計算。兩者的差距,正是多步世界模擬最需要面對的問題。

75.1% 與 34% 分別回答哪個問題

逐步指標看單個動作,完整計畫指標要求整段都完成,兩者不能互換。官方內部研究列出二百個多步提示、合計四百五十六個步驟,另外也有單動作測試。

逐步成功率 75.1% 表示以步驟為單位觀察時的結果。完整計畫成功率 34% 則需要同一份計畫裡的步驟都過關,所以對前後一致性提出更高要求。

換個角度看,這組結果中約三分之二的計畫至少有一步沒有完成。這不是否定模型有進步,而是說代理若要依賴整段模擬,不能只引用較高的逐步分數。

不同測試不能拼成共同成功率

不同計畫的步數與難度也不相同,不能簡單用單步成功率連乘來重建整體結果。步驟之間可能互相影響,前一段偏差也會改變後面的輸入條件。

公告另列出的單動作多面向綜合分數,使用不同測試與衡量方式。這些分數有各自的問題設定,不能混成同一個成功率,再拿最高的一項當所有任務表現。

研究比較也包含不同生成次數與評分方法,開放模型和封閉服務的設定不完全相同。讀者要看方法說明,才能知道比較支持到哪個範圍。

公開物理評測的案例還採用了不同的概念推理模型。這提醒研究者,結果屬於整套配置,不能只拿感知權重名稱就保證重現相同分數。

因此,官方成績可以作為後續研究的參考點,尚不能當成本站獨立重現的可靠度證明。即使分母分清楚,計畫本身怎麼挑選仍會限制評測能回答的問題。

尚未測到的失敗比漂亮展示更關鍵

官方承認量化研究只涵蓋設計上應該成功的計畫,對本來不該成功的情況仍缺少量測。這個缺口會直接影響模擬是否能協助代理否決錯誤計畫。

例如,研究想知道一項動作能否做到,模型就需要在條件不足時產生合理的失敗後果。如果不可能的安排也被畫成成功,代理反而可能被流暢影片說服。

這和畫面品質不同。模型可以把一個原本不成立的計畫生成得很順,卻沒有因此提供正確的行動後果,因此驗收必須同時包含應成功與應失敗的情況。

官方也指出提示敏感性,展示會經過人工調整。提示怎麼描述動作、物件與時間,都可能影響結果,使用者不能預設隨口一句就有同樣表現。

長序列展示還有額外處理。例如紙飛機案例的起始畫格曾進行品質修復,這是理解展示條件的重要背景,不能描述成毫無介入的無限連續生成。

訓練改善也並非每項指標同步上升。技術文章交代,部分獎勵訓練提高因果與計畫表現時,也出現視角或物理指標的取捨,最後需要平衡不同目標。

這表示團隊若只提高一個分數,可能漏掉其他退步。對特定用途,應先選出不能犧牲的條件,再看模型改善的是哪一部分,而不是把總體進步理解成每一面都更可靠。

這項缺口會影響團隊把模擬結果接到實際代理的方式。影片適合提供可討論的線索,還需要其他資訊判斷它是否值得採用。

接上代理時,影片應該扮演什麼角色

生成影片能提供另一種檢查線索,但不能自行裁決真實動作是否安全。代理可以利用模擬發現可能的衝突,再回到工具資料或實際環境確認。

官方的代理研究顯示,文字推理模型也可能誤讀影片裡的事件,重複嘗試同一個安排。即使影片呈現了問題,後面的判讀仍可能失敗,所以整條流程需要分開觀察。

這讓「會模擬」與「會規劃」成為兩個需要同時測試的能力。模擬錯了,代理可能拿到錯誤線索,代理看錯了,正確線索也不一定能改變下一步。

研究原型可以先保留模擬結果,再讓人員對照步驟與原始條件。這樣能看見錯誤來自文字計畫、影片生成,還是結果解讀,後續修正才有方向。

若用途涉及機器人,還要考慮真實感測、接觸與執行誤差。模型畫面沒有涵蓋的現場條件,不能由視覺相似補成安全保證,真機試驗也不等於在影片中重播。

模型卡把研究與模擬列為用途,對安全關鍵工作則要求另外驗證。這和把影片當作候選計畫討論材料相容,卻不支持沒有外部檢查就直接驅動高風險動作。

除了結果判讀,生成內容還需要按使用情境管理。模型卡提到可另接輸入與輸出防護元件,表示安全處理也屬於系統設計,不能假設下載權重後所有保護都已自動完成。

真正動手試用之前,還要把開源範圍與運算準備拆開看。能讀到程式,是研究起點,距離任何裝置都能即刻使用仍有一段準備工作。

開源權重與可直接使用差在哪裡

模型與程式公開降低研究門檻,卻沒有消除部署、外部元件與授權準備。模型權重是可下載的訓練參數,仍要搭配執行程式與足夠的運算資源才能產生結果。

PAN 2 的感知權重與程式以 Apache 2.0 提供,其他文字編碼器與影像元件則要依各自授權處理。整套流程用了多個零件,不能只讀其中一張授權就代表全部相同。

官方模型卡目前也沒有列出由 Hugging Face 推論服務商代為運行模型的直接入口。看得到模型頁面,不代表按下一個按鈕就能免準備使用雲端服務。

硬體需求應依實際配置與官方執行方式評估。二百九十億參數的主幹之外還有其他元件,不能自行補成一般筆電或某張顯示卡必定可流暢運行。

研究團隊較適合從固定場景與短動作開始,保留提示、起始畫格、推理模型與生成設定。這些記錄能讓後續比較對到相同條件,而不是每次都換一套展示。

如果想把成績接到自己的規劃研究,再加入明確應失敗的案例。這能補上官方已揭露的測量缺口,也讓模型是否會討好不合理計畫成為可檢查問題。

相關評測與世界模型背景,可以接著閱讀以下兩篇。它們有助分清規劃、模擬與現場控制各自需要的證據。

延伸閱讀:Dual Exam 分開測代理與世界模型:會下指令,為何世界仍可能變錯?

延伸閱讀:world2vec 世界模型研究:不用獎勵學動態,為何會控制還不代表懂物理?

PAN 2 常見問題

官方影片是真實機器人的錄影嗎?

這次主要展示生成的世界模擬與相關研究。影片是模型預測的可能後果,不能當成真實場景已成功執行的錄影證據。

逐步成功率高,就能放心採用整份計畫嗎?

不能直接互換。官方逐步成功率為 75.1%,完整計畫只有 34%,而且量化研究尚未測試本來就應該失敗的計畫。

開源代表所有元件都同一授權嗎?

感知模型與程式有自己的開放授權,外部編碼器與其他元件仍要各自確認。部署也需要執行環境,不能由公開下載推成完全免準備。

讓模擬幫忙找問題

PAN 2 值得追蹤的用途,是把計畫後果變成能逐步檢查的畫面。研究團隊可先用一組應成功與應失敗的短任務,比較文字計畫、生成影片與判讀結果,保留每一段的依據。

訂閱 AI 郵報,持續追蹤世界模型與代理評測。準備開始研究時,先寫清楚什麼情況應該失敗,會比只蒐集成功展示更接近可靠規劃。

原始資料來源