H-JEPA 是什麼？世界模型先學會控制狀態，從看懂畫面走向規劃動作

機器人看見物體，還需要知道下一個動作會造成什麼改變。H-JEPA 研究把畫面中的豐富資訊，整理成比較適合控制的狀態，再用具有物理結構的預測器推估變化。它關心的是「怎麼做動作」，而不是生成一段看起來很逼真的影片。

這項世界模型研究近期在 X 被分享。世界模型是系統用來預測環境如何變化的模型，可以協助比較不同動作的後果。H-JEPA 的實驗使用從畫面進行控制的模擬任務，顯示這種結構化設計在指定環境中有改善，但還不能直接推成所有真實機器人都能使用。

對關心 AI 是否能從理解畫面走向實體操作的人，這篇研究提供了值得拆解的技術方向。本文會先說明 JEPA 與控制狀態，再用機械手臂情境理解預測器，最後看測試數字與部署仍需要補上的條件。

世界模型和影片生成，處理的問題有何不同？

影片生成工具根據文字或其他輸入，產生視覺上合理的畫面。世界模型則可能更重視動作與環境的關係，例如推一下物體後，它往哪裡移動，機械手臂能否到達目標。兩者都可能預測未來，但成果的用途與驗收方式不同。

對控制而言，漂亮的畫面未必是最重要的。模型若能可靠估計物體位置與相對關係，就可能幫助系統選擇動作。相反地，一段逼真影片若沒有一致的動作效果，未必能用來控制機器人。這也是為什麼世界模型研究不一定需要生成每個畫素。

JEPA 是 Joint Embedding Predictive Architecture 的縮寫，可以理解為在特徵表示中進行預測的架構。特徵表示是把原始資料轉成模型便於處理的資訊，常稱為潛在表示。它可以保留與任務有關的關係，而不必逐點重建整張畫面。

但控制也有自己的需求。豐富的視覺表示可能包含顏色、背景與大量細節，真正決定動作的狀態卻可能較小。H-JEPA 將感知與控制狀態區分，希望讓預測更聚焦於可用來規劃的資訊，減少不必要的複雜度。

H-JEPA 為什麼把感知與控制分開？

依照原始論文，方法保留較寬的感知表示，再透過固定的正交切片取得較緊湊的控制狀態。正交可以理解為選擇彼此獨立的方向，讓控制表示從感知空間中取出有結構的一部分。讀者不需要先熟悉數學，重點是兩層資訊承擔不同工作。

感知層處理畫面提供的豐富線索，控制層則供預測與規劃使用。這樣的設計讓模型不必讓所有視覺特徵都直接參與動作計算，也有助於維持特定的統計結構。具體哪些資訊被保留，仍取決於訓練資料與方法設定。

可以用駕駛看路作比喻。眼睛接收路邊招牌、天空、行人與車輛，但決定下一次轉向時，需要重點掌握車道、距離與移動狀態。這個比喻只用來理解資訊分工，H-JEPA 的實驗並不是道路自動駕駛。

資訊壓縮也有風險。如果重要狀態沒有被保留，控制層可能無法預測某些後果。小而有結構的表示不會自動比大表示更好，仍需要用實際任務驗證。研究的價值，是提供一種可以比較的結構化選擇。

Hamiltonian 結構與耗散，怎麼用白話理解？

H-JEPA 的名稱包含 Hamiltonian，也就是哈密頓式的結構。這類數學方法常用來描述系統狀態如何隨能量與運動變化。論文加入耗散與控制輸入等設計，讓預測器能處理不只理想、無損失的運動。

耗散可以理解為運動中能量會因摩擦等因素減少。真實物體通常不會永遠無阻力地移動，控制也會對環境施加影響。帶有這些結構的預測器，試圖讓狀態變化遵循較有依據的關係，而不是完全自由地猜下一個特徵向量。

這不表示系統已經知道所有真實物理定律。模型仍從資料學習，表示也不一定直接對應人類可量測的速度、位置或能量。物理結構提供限制與歸納方向，實際能否準確控制，依然需要測試。

論文也提出一種利用預測誤差推進控制的方式，並避免額外增加一般的動作解碼器。動作解碼器可以理解為把模型表示轉成動作的模組。這些設計共同服務於控制任務，不能只因名稱有物理，就宣稱它能精確模擬任何場景。

用推動方塊理解：模型要預測什麼？

假設一個機械手臂要把方塊推到指定位置。這是本文的示意情境。相機看到方塊與手臂，模型需要理解目前狀態，再比較向左推、向前推或先調整位置的後果。這些判斷依賴物體與工具的關係。

如果預測只看畫面相似度，可能偏好產生熟悉影像的動作，卻沒有完成目標。控制任務需要問的是：方塊是否更接近目標、動作是否可執行、後續還能否繼續修正。這讓世界模型的驗收和生成影片不同。

H-JEPA 的結構化狀態，嘗試把預測與控制連起來。模型用適合規劃的表示估計變化，再讓控制程式使用這些資訊。這個例子能幫助理解方向，但不表示研究已經在所有真實推物體任務中證明穩定成功。

真實環境還有感測誤差、物體材質、延遲與接觸變化。相同推力對不同重量可能產生不同結果，手臂也可能遇到限制。從模擬移到實體系統，需要額外校準與驗證，不能只靠一個世界模型名稱完成。

論文數字怎麼看？四組模擬任務各有差異

研究比較 H-JEPA 與 Delta-JEPA，在四組從畫素進行控制的模擬任務中評估，使用多個訓練種子與大量測試回合。畫素控制表示模型從畫面取得觀察，而不是直接讀取完整的理想狀態。這比較接近視覺控制問題，仍然不是實際機器人現場測試。

數字顯示方法在部分環境有優勢，也顯示不同任務的收益不同。TwoRoom 已達到滿分，無法再從成功率看見提升。其他任務則有不同幅度，不能把最大差異當成世界模型的通用進步值。

論文還比較了訓練安排，H-JEPA 使用的訓練輪次與比較方法不同。輪次少不自動等於所有成本更低，還需要看每輪工作量、模型結構與完整執行時間。正式選型時應量測自己的資源與延遲，而不是隻比較一個訓練次數。

這些結果最適合支援「結構化控制表示值得研究」，而不是「AI 已經全面理解物理世界」。要判斷真實用途，還需知道訓練資料如何涵蓋環境、目標如何指定，以及新物體和新條件下是否可靠。

匯入或追蹤研究時，應問哪些問題？

先看資料來源與覆蓋。模型如果只學過某些物體、背景與動作，換環境後可能不穩定。對控制系統，未見過的材質、光線與接觸條件都可能影響結果。公開模擬分數提供初步證據，實際資料仍需要自己的驗證。

再看目標如何定義。從相機畫面辨識目標位置，與直接提供目標狀態，是不同條件。若展示沒有說清楚模型取得哪些資訊，讀者就可能高估自主程度。控制系統使用者應確認輸入、目標與外部感測之間的關係。

接著看失敗如何處理。一次預測錯誤後，系統是否會重新觀察與規劃？是否有速度、範圍與碰撞限制？這些外圍控制決定實際運作，不能因為模型有物理結構就省略。可靠系統需要把模型、感測與執行程式一起考量。

最後看是否能夠重現。程式、模型、資料與測試設定若有公開，研究者可以更具體比較。若目前只看到論文或演示，也可以繼續追蹤後續資料，避免把尚未提供的產品介面與部署能力自行補進介紹。

視覺模型的失敗，還需要分清楚哪一層出錯

如果控制成果不佳，可以先看模型是否辨識目前狀態。例如方塊被陰影遮住，感知層可能取得錯誤線索。若畫面辨識正確，預測卻估錯推動後的位置，問題可能在狀態轉移。若預測合理，最後選出的動作仍不合適，則要檢查規劃與執行。把這些層次分開，才能知道需要補資料、改預測器，還是調整控制程序。

這也影響測試紀錄。只保存最後成功或失敗，無法知道同一個方法為什麼在某些任務較好。較完整的紀錄可以包含輸入畫面、預測狀態、選出的動作與實際結果。對研究者，這些資料有助於理解結構設計是否真的改善預測。對應用團隊，則能把模型問題與硬體或工具問題區分。

如果要比較不同世界模型，也應保持其他條件一致。相同感知資料、目標與動作限制，才能比較預測結構的差異。若一個方法取得更多資訊，另一個方法只能看較少畫面，成功率差距就不能完全歸因於模型。公平比較會讓方法的優點與限制更清楚，也讓後續選型更有依據。

常見問題：H-JEPA 和熱門世界模型是一回事嗎？

它是 Meta 官方發布的產品嗎？

本文介紹的是 H-JEPA 論文作者提出的研究。JEPA 概念與其他世界模型討論有關，不能因此把每一篇使用 JEPA 名稱的工作都歸為 Meta 產品。判斷來源應以作者、機構與原始發布頁面為準。

它能直接生成影片嗎？

這篇研究重點是特徵預測與控制，不是提供一般消費者的文字生影片服務。世界模型可以採不同表示方式，是否輸出畫素影片取決於設計。對本文方法，應以控制任務與潛在狀態的範圍理解。

模擬成功率高，就能直接控制家用機器人嗎？

不能直接推論。實體裝置需要處理硬體、感測、延遲與安全範圍，環境也可能超出訓練資料。論文結果提供研究方向，正式裝置仍要完成自己的測試與控制整合。

一般讀者值得關心哪個重點？

可以關注 AI 如何把看見的資訊轉成可行動的狀態。從畫面理解走向動作規劃，需要明確的表示、預測與驗收。這種分工有助於理解為什麼影片逼真，與機器人做得對，仍是不同的技術問題。

結語：世界模型的用途，決定了它需要學什麼

H-JEPA 把感知與控制分開，再用結構化預測器處理狀態變化。它提供了一種讓視覺資訊服務動作規劃的研究路線，也透過模擬實驗展示在指定任務中的效果。

對關心機器人與世界模型的人，閱讀重點是表示如何建立、目標如何定義，以及證據來自什麼環境。把這些條件說清楚，才能看見研究的實際價值，也更容易判斷後續實體系統的進展。

官方資料來源

• H-JEPA 原始研究論文
• X 討論線索