Mundo 把房間照片變成可模擬世界：3D 場景、物理引擎與影片模型如何分工？
Mundo 用少量房間照片建立可編輯的 3D 場景，再以物理模擬與影片模型呈現互動。本文拆解代理重建、場景程式、機器人示範及速度與長期一致性限制，說明研究展示能支持什麼。
拿幾張房間照片請 AI 生成走動影片，畫面看起來連貫，卻不表示抽屜真的能打開、物件會依重量碰撞。若要拿來練機器人，系統還得記住物件在哪裡、發生了什麼。
研究團隊在 2026 年 10 月 23 日介紹 Mundo，把照片中的環境重建成可以修改、移動與模擬互動的世界，再生成對應影片。
它的做法是先建立簡化的 3D 場景，把物件位置與物理條件寫進程式，再由物理引擎計算動作。影片模型則負責依照片補出場景外觀。
因此，使用者能改變相機路線或物件狀態，而不必只用一段文字祈求畫面合理。但未拍到的區域仍靠模型推想，設定進去的質量與摩擦也不等於已量測的現實。
這項研究適合關心照片重建與機器人模擬的團隊追蹤。需要即時互動或精細接觸判斷的人，目前仍會遇到速度與小物件失真的限制。
要了解展示裡哪些變化由程式控制、哪些部分仍由模型生成，得先看照片如何變成場景。
Mundo 如何從幾張照片建立場景？
Mundo 先整理照片中的相機位置、幾何與主要物件，再讓視覺代理反覆比對，修正簡化的 3D 場景。這個場景要能表示物件之間的位置關係，後面的動作才有依據。
原作者研究說明展示以一到十二張環境照片探索新視角。不同角度提供不同證據，照片越能涵蓋場景，模型需要自行推想的部分就越少。
這不代表十二張是整套系統的硬性上限。大型環境與長路線也可以使用更多參考視角，再依相機接下來的位置挑選適合的照片，所以輸入需求仍與要探索的範圍有關。
重建開始時，系統先估計相機位置與場景幾何，再用物件偵測工具提出主要物件的立體框。立體框以簡化方式記下物件的大小、位置與方向，不必一開始就還原所有曲面。
但偵測工具可能漏掉物件，也可能把位置放偏。Mundo 因此加入能理解圖片與文字的視覺代理，讓它修改場景程式、渲染出對應視角，再與輸入照片比較。
這個循環像是先做一個粗模型，再拍出和原照片相同的角度，檢查桌子、門或櫃子的相對位置有沒有對上。若只看一個視角，前後距離出錯時仍可能看起來合理。
為了減少這種情況，系統結合視覺判斷與數值最佳化。代理選出應相信的物件邊緣，數值方法再調整位置、尺寸與方向，讓框更貼近那些證據。
調整結果還必須符合沒有參與擬合的視角，才會保留。這能避免只把某張照片對得很漂亮，卻讓另一個角度的物件位置更不合理。
另有獨立的檢查代理回看所有輸入視角，不直接修改場景。當結果獲接受、幾何不再改善，或達到編修與時間限制時，循環就會停止，因此過程也有運算邊界。
未出現在任何照片中的地方仍需要推想。增加照片提供的是更多可對照的線索，並沒有讓看不到的牆後或櫃內自動變成已知事實。
這個場景先解決物件在哪裡，接下來才有辦法用程式指定它如何移動與互動。
物理引擎與場景程式各負責什麼？
物件的位置、姿態與物理條件保留在場景程式中，模擬器再依這些條件計算移動和碰撞。因此，畫面裡的動作可以對應到一組明確的狀態變化。
場景程式會記錄物件、質量、摩擦，以及更新狀態的規則。使用者可以透過這些條件加入新物件、改變相機位置或設定施力，而不必只反覆修改影片提示詞。
例如作者用簡化程式展示打開抽屜、加入蘋果，再安排物件飛動與相機運動。這段範例是在說明控制方式，完整實作更複雜，不能把每一行都當成已保證可直接呼叫的通用服務。
Mundo 多數模擬使用 MuJoCo，這是一種計算物體運動與接觸的物理引擎。它會依設定處理重力、碰撞與操作，因此同一個初始狀態可以搭配不同動作來研究結果。
不過，代理會從場景推定模擬需要的質量、摩擦和施力條件。這些值即使能產生合理動畫，也不代表已量測過真實物件，所以模擬結果仍受設定正確性影響。
這也是立體框適用範圍的重要限制。框可以方便表示物件在哪、占多大空間，卻沒有包含把手內側或小縫隙等細部表面，不能期待所有精細接觸都靠一個框完成。
需要細部互動時，代理可以建立粗略形狀，或使用 3D 生成工具補充物件幾何。新增物件也可以從既有素材庫取得，讓機器人等物件帶著已準備的物理資料進入模擬。
因此，整套流程會按互動需求選擇表示方式。只要研究相機怎麼走，粗略空間可能就夠。若要研究夾爪接觸一個小物件，幾何與物理條件就會更重要。
這種顯式狀態也讓修改比較容易追蹤。因為物件位置與動作不是只藏在生成影片裡，研究者可以回到場景程式，分辨改變了哪些模擬條件。
模擬器能告訴系統物件如何變動，卻不會自行還原照片的材質與光線，因此還需要影片模型。
影片模型如何跟著相機與物件狀態生成？
系統把模擬結果畫成簡化影片，再結合原始照片，讓影片模型依指定的相機路徑生成外觀。這段簡化影片負責把立體世界的變化傳給影像生成流程。
在簡化影格裡，物件以代表類別的平面顏色呈現。它保留物件在哪個時間移動、在哪裡碰撞，以及相機從哪裡觀看，卻不必先做出接近照片的材質。
原始照片則提供場景外觀的依據。影片模型一邊讀取簡化狀態，一邊利用這些參考視角，補出牆面、家具與物件看起來應有的樣子。
相機資訊也會被編碼進模型，協助把參考圖片與目標路徑對齊。作者的實驗認為，加入簡化影片比單靠相機訊號，更能維持場景與視角控制。
這裡的進展在於控制資訊有了清楚入口。物件動作先經過模擬，再以影格約束外觀生成，因此研究者可以檢查錯誤出在場景、模擬條件或影片呈現的哪一段。
Mundo 的渲染模型以 MiniMax-H3 的相關模型微調，資料包含約四萬組對應影片。每一組把真實或渲染影片，與同場景的簡化影片配對，讓模型學習兩者如何對應。
訓練片段為一百二十四影格、六百四十乘四百八十解析度。資料涵蓋室內掃描、合成環境、駕駛、手與物件互動等內容，另外也有團隊自己渲染的場景。
長影片則分段處理，每段一百二十四影格。系統把前一段最後三十四影格重新編碼，作為下一段固定的開頭，藉此接續動作，而不是每段都重新起跑。
當環境太大或參考圖片很多時，系統會替每一段另外挑選視角。因為相機即將走到的區域不同，需要優先看的照片也會改變，這讓長路線能使用對應的局部資訊。
這讓同一個場景能從不同角度呈現，也讓研究團隊進一步展示機器人在場景裡導航和操作。
機器人示範展示了哪些用途？
官方展示利用重建場景規劃路線，再從外部、頭部或手腕視角呈現導航與物件操作。這些視角能讓研究者觀察同一段任務在不同位置會看到什麼。
官方專案頁包含機器人從飯店大廳前往房間的示範。重建後的簡化場景保留物件名稱與位置，可以供路徑規劃使用。
例如起點與終點若用房間或物件描述，規劃器就需要把名稱連到空間。Mundo 的場景資訊提供這種連結，再由路線搜尋方法找出可走的路徑。
這和只生成一段「機器人走進房間」的影片不同。前者把場景布局與任務路線分開表示，研究者因此能檢查規劃是否沿著預期區域前進。
操作示範則包括重建洗衣間、探索環境與打開洗衣機門。這些內容展示了把特定真實場景帶進模擬的方向，讓規劃者先觀察任務附近的資訊。
這種方向常稱為 Real-to-Sim，也就是把現實環境轉成模擬環境。它可以成為測試或訓練的材料，但能生成對應場景，仍與真實機器人已安全完成同樣任務有距離。
研究頁也展示在相同場景中換不同機器人，以及同時保存動作軌跡、互動狀態與畫面。資料若能互相對應，就比較容易觀察行動與結果之間的關係。
不過，官方沒有因此提供真實部署的成功率。若訓練者要把模擬所得轉回實體設備，仍需確認感測器、動作、幾何與物理條件是否符合實際系統。
凍結時間後移動相機的展示，則讓使用者從不同角度回看同一個動態事件。它增加的是觀察方式，並沒有把生成內容自動轉成可追溯的現場量測。
能完成研究示範，距離即時且可靠的訓練環境還有差距，速度與細部錯誤會直接影響用途。
目前速度與一致性，限制了哪些應用？
Mundo 目前仍是需要大量計算的研究展示，小物件互動與長時間變化也可能讓場景細節失真。因此，應用能否接受等待與誤差，比影片看起來多逼真更影響採用。
作者表示，展示中的場景重建通常需要十到二十分鐘。這還沒包含所有後續使用需求，所以拍完照片就立刻開始流暢互動，並不是目前公布的運作條件。
影片渲染在八張 A800 顯示卡、二十個推論步驟的條件下，約每秒產生一點五影格。這是特定研究設定的速度，不能套到一般筆電，也不等於播放影片時看到的順暢程度。
對需要離線產生研究材料的工作，等待可能仍可安排。但若使用者每移動一次鏡頭都要求即時回應，這個差距就會直接影響互動體驗。
細部物件也有尚未解決的問題。作者提到小物件可能在重建場景中浮起來，影片模型在呈現精細操作時也容易產生不合理細節，因此外觀與接觸結果都要一起看。
另一個限制是尚未具備長時間記憶機制。原始照片能幫助固定場景外觀，但經過長時間動態改變，或先被擋住的區域重新出現時，細節仍可能無法保持一致。
分段影片的重疊開頭可以接續短期動作，卻沒有解決全部長期狀態問題。這也說明，多生成幾段影片和長時間記得同一個世界，是不同的研究挑戰。
截至 2026 年 10 月 25 日，公開頁面主要提供研究原理與示範。評估時可以先觀察控制路線、互動條件與失敗情況，避免把介紹中的程式示意直接當成現成工具保證。
先用公開示範辨認自己需要的是場景控制、物理狀態還是影像外觀，再追蹤程式與速度的後續進展，會比只看影片是否逼真更有幫助。
若要比較互動世界與幾何重建的不同目標，可接著看以下研究對控制與形狀的處理。
延伸閱讀：Odyssey-3 開放世界模型預覽：物理評測66.1分，能證明模擬世界有多可靠？
延伸閱讀：Hi3D v1.0 釋出高解析幾何細化：1536³ 網格、硬體與商用條件怎麼看？
Mundo 常見問題
Mundo 可以即時生成互動世界嗎？
作者公布的渲染速度仍低於即時互動需求，重建也需要等待。應依研究公開設定理解速度，不把播放影片的效果當成生成速度。
只有一張照片也能使用嗎？
官方有單張照片的展示，但沒有拍到的區域需要模型推想。更多視角提供更多證據，適合用來檢查場景是否符合輸入。
模擬出來的動作代表真實物理嗎？
動作由模擬條件計算，但質量與摩擦等參數可能由代理推定。仍需與實際環境核對，不能只靠逼真畫面認定正確。
