Hy-Nomas 開放互動影片世界模型:文字、相機與 280 案例評測,單張 4090 能做什麼?
Hy-Nomas 是騰訊混元開放的互動影片世界模型,可逐段改文字與相機路徑,並提供 280 案例 Hy-Nomas-Bench。本文說明歷史快取、單張 RTX 4090 的量化與卸載條件,以及輸出 24 FPS 不等於即時生成。
生成一段風景影片之後,想把鏡頭轉向左邊,再要求畫面裡的角色繼續行動,系統就得接住前面的內容。否則每一段都好看,接在一起仍可能變成不同世界。
騰訊混元公開 Hy-Nomas,讓使用者在影片生成過程中逐段加入文字指令或相機路徑,並釋出程式、訓練後模型檔案與互動示範。
模型會保留前面生成內容的中間資訊,供後續片段使用。這種歷史快取有助延續場景,但資料越多也會增加記憶體負擔。
官方另提供單張 RTX 4090 的配置,靠量化、限制顯示卡上的歷史範圍與搬移模型來降低負擔。這裡的單卡指影片推論,完整網頁示範還需要另一個提示處理服務。
想研究多輪畫面控制的開發者,可以連同 280 案例的 Hy-Nomas-Bench 一起評估。需要即時遊戲或可驗證物理環境的人,則不能把輸出 24 FPS 當成已達成的生成速度。
要判斷這套系統能接住多少互動,先看一段影片如何把狀態帶到下一段。
Hy-Nomas 如何把文字和相機控制接成連續影片?
模型每次生成一個片段,讓新的文字或相機訊號與過去快取的資訊一起影響下一段畫面。這讓使用者能在世界延伸的過程中修改要求,而不必把所有變化一開始就寫完。
依 官方模型說明,使用者可以加入物件、改變外觀或場景,描述動作,也能提供相機路徑。這些控制會影響後續片段如何生成。
例如官方提示範例先建立森林中的狐狸,再讓下一段出現發光花朵,同時接續狐狸前進。這是用相同時間線描述世界如何變化,並非把兩段互不相關的提示各自生成後再剪接。
生成過程以片段為單位,稱為片段自迴歸。這個詞的意思是,新片段會接在已經生成的內容後面,使用先前資訊,不需要先知道尚未生成的未來畫面。
影片本身先用壓縮的內部表示處理,再經過解碼器還原成可看的影格。模型因此不必直接在每一個原始像素上完成所有步驟,但仍要花運算把內部表示轉回畫面。
文字與相機資訊也有不同入口。文字描述要出現的內容,相機路徑則描述觀看位置如何移動,所以只要求「往左看」和提供一條明確路線,對系統而言不是完全相同的控制形式。
在網頁示範中,另有 Nomas-PE 服務把使用者指令轉成結構化的生成提示。它負責整理輸入,和影片模型讀取文字的編碼器分開,完整服務因此包含不只一個運算步驟。
離線推論則可以直接使用準備好的提示檔案,指定每段時間、內容改變與動作。這讓研究者能固定輸入再比較結果,不必每次透過網頁臨時輸入不同文字。
這種世界生成主要在影片空間延續外觀與控制。它沒有在這份發布中提供像物理引擎那樣、可直接查詢每個物件質量與碰撞狀態的完整現實表示。
歷史資訊能讓生成延續,但保留多久、放在哪裡,也會決定系統需要多少記憶體。

世界記憶如何保留,為何還會有資源成本?
標準配置保留完整歷史,單卡配置則只選一部分歷史資訊放進顯示卡,較早內容留在主記憶體。兩者在速度、容量與可用上下文之間做了不同安排。
這些中間資訊稱為 KV cache,可以理解成模型已整理好的線索。接續片段時,系統能重用先前的鍵值資訊,避免每次都從完全空白的狀態開始生成。
不過,快取代表保留資料,不是不用付出代價。標準配置隨著世界延長保存更多內容,所需記憶體也會增加,因此長片不能只用第一段的資源需求估算。
單卡版本採另一種方式,挑出有限的歷史資訊放進顯示卡,其他歷史存到 CPU 端。這裡的 CPU 端主要使用系統主記憶體,和顯示卡上的顯示記憶體是不同容量。
預設歷史預算是十八個內部影格。因為內部表示經過時間壓縮,這個數字不能直接讀成十八張播放影格,也不表示整段影片最多只有十八格。
這個預算也只限制選入的歷史部分,不會替目前正在生成的片段設定總記憶體上限。當片段變長或解析度提高,當下需要的空間仍可能上升。
較早歷史雖然移到主記憶體,資料仍然存在,所以電腦整體的空間需求沒有消失。官方也提醒,歷史封存可以持續增長,部署者需要替它留出容量。
因此,單卡配置比較像重新分配工作時要用的資料。它能降低顯示卡同時負擔的內容,但搬移資料與挑選歷史也會改變運作條件,不能據此宣稱永久記得所有細節。
如果想比較回到原位置時場景有沒有改變,就需要固定相機路徑與互動順序。只看一段往前走的影片,往往還無法知道先前離開的區域是否被保留下來。
因此,單張顯示卡能執行影片推論,並不表示整套系統的模型與歷史資料都只占顯示記憶體。
單張 RTX 4090 配置,需要接受哪些條件?
低記憶體配置同時使用量化權重、較小的歷史範圍與 CPU 卸載,讓影片推論能改用單張 RTX 4090。這是一組配套設定,不能只拿其中的顯示卡名稱當成完整部署條件。
量化是用較小的數值表示保存模型權重,也就是訓練完成後的數值檔案,藉此降低空間負擔。官方單卡配置把影片生成模型權重與歷史快取以 INT8 儲存,但主要計算仍使用 BF16。
解碼器則搭配 FP8 版本,把壓縮的影片表示轉回影格。因為生成模型與解碼器各有相容版本,不能隨意混用一般與低記憶體檔案,期待得到相同結果。
CPU 卸載會在不同階段把文字編碼器、生成模型或解碼器送上顯示卡,完成後再移回主記憶體。這降低同時駐留的負擔,也增加 CPU 與顯示卡之間的傳輸。
所以,單卡並不等於不需要大量主記憶體,也不保證和多卡設定一樣快。官方明確指出,搬移模型會增加延遲,實際需求也取決於片段長度與解析度。
標準配置則採八路平行與分散式解碼,預設啟動需要八張顯示卡。這和單卡低記憶體設定是不同路線,讀使用說明時應先選定要走哪一種。
官方預設輸出為七百二十乘一千二百八十、每秒二十四影格,並使用八個去噪步驟。去噪是模型從內部雜訊逐步形成內容的過程,步數是推論設定的一部分。
其中二十四影格描述影片播放時一秒有幾格,不代表電腦每秒能生成二十四格。生成速度仍要依硬體、片段、歷史與實作測量,因此這個數字不能直接用來宣稱即時互動。
完整網頁示範還需要 Nomas-PE 的服務資源。單卡聲明指影片推論,並沒有包含所有網頁、提示處理與服務管理工作都能在同一張卡上完成的保證。
資源條件確認後,還需要一組可重複的互動要求,才能比較畫面控制與一致性。
Hy-Nomas-Bench 的 280 案例,實際測什麼?
基準把文字互動、相機導航、交錯控制與回訪記憶拆成四組,讓連續生成的要求有一致的測試輸入。這比只看一段精選示範,更容易觀察不同控制方式的落差。
官方基準資料包含二百八十個案例,以及二百二十條參考相機軌跡。每個案例都有結構化描述,讓使用者能依同一組要求進行生成。
各組測試的數量與目的如下,這些是輸入案例數,沒有表示模型已全部完成或通過。
| 組別 | 案例數 | 主要觀察 |
|---|---|---|
| 多輪文字 | 60 | 動作與主體是否接續要求 |
| 相機導航 | 100 | 是否跟隨指定路線 |
| 文字與相機交錯 | 60 | 切換控制時能否維持要求 |
| 空間記憶 | 60 | 回到先前位置時是否一致 |
文字組會逐輪改變要求,檢查動作執行與主體連貫。相機組則提供鍵盤控制時間線與參考路線,讓視角變化有可對照的目標。
相機導航涵蓋四十九種場景,以及單鍵與雙鍵組合。指定動作後會接上對應的返回動作,因此測試不只看能不能往前移,也會觀察回程是否合理。
交錯控制組把文字與相機要求輪流放進同一段生成,逼近使用者一邊調整內容、一邊改變視角的情境。模型若只擅長其中一種控制,切換時的問題就比較容易浮現。
空間記憶組則安排四次出發與返回,合計八個回合,圍繞一個具有辨識特徵的靜態目標。評估時要在相同有效相機位置比較,才能避免把角度不同誤認成場景改變。
這些相機軌跡提供的是控制參考,不是每個生成世界都已有一份真實外觀標準。要怎麼量化畫面與動作,仍需要和評估目標對齊。
基準以英文要求為主,文字組另有少量中文或混合語言。這讓使用者能看到不同輸入形式,但不能因此宣稱中文多輪控制已取得同樣的驗證結果。
有公開測試輸入仍不等於已有公開成績,所以最後要確認發布內容到底能讓使用者重現到哪一步。
已公開哪些成果,哪些能力仍要自行驗證?
目前可以取得模型、推論程式與基準輸入,但資料集沒有附生成影片、擷取畫面或評估分數。它提供重做測試的起點,沒有直接給出所有測試的完成答案。
四個基準都以測試分割提供,使用者可以把結構化描述交給離線推論流程,再保存自己的輸出。這種方式不需要先部署線上提示強化服務,較方便固定輸入條件。
但讀取案例檔案,不會自動載入相機軌跡資料。官方要求保持案例與軌跡目錄的相對位置,所以只下載文字內容,仍可能無法重現相機控制要求。
模型檔案則包含一般與量化版本、解碼器,以及用於視覺或機器人領域的調整模組。應依選定配置取得相容檔案,而非把整個儲存庫容量直接當成每次推論都必須使用的內容。
其中調整模組常稱為 LoRA,是以較少額外參數改變模型行為的方式。官方低記憶體載入器不支援推論時再附加獨立 LoRA,因此適配與單卡部署仍有相容性條件。
截至 2026 年 10 月 25 日,模型頁仍把技術報告標為即將提供。使用者可以研究已公開程式與說明,但不能把尚未發布的完整報告或評估分數當成既有證據。
授權採 Apache License 2.0,第三方模型與元件仍依各自條款。整合時除了主模型,也要核對文字編碼器與其他實際使用的內容,不能只憑一個授權標籤概括整套服務。
Hy-Nomas 與配套基準的意義,是把連續世界生成的要求拆成可以反覆測試的片段。它讓互動控制有了公開材料,也讓記憶與硬體取捨更容易被看見。
先選相同的互動片段、相機路徑與硬體配置觀察回訪一致性,再判斷它是否符合自己的創作或研究用途。需要真實物理狀態的工作,則還要另有能核對狀態與行動的系統。
若要對照其他互動世界的控制與部署條件,可接著閱讀以下兩個不同研究案例。
延伸閱讀:Odyssey-3 開放世界模型預覽:物理評測66.1分,能證明模擬世界有多可靠?
延伸閱讀:HelixWorld 世界模型部署門檻再受關注:聲音跟著視角轉,80GB 顯存代表什麼?
Hy-Nomas 常見問題
Hy-Nomas 的 24 FPS 代表即時生成嗎?
這是輸出影片的播放影格率。生成所需時間仍受硬體、解析度、片段與歷史資訊影響。
單張 RTX 4090 可以包含完整網頁服務嗎?
官方單卡配置描述影片推論,使用指定量化檔案與 CPU 卸載。完整網頁示範還需要 Nomas-PE 等服務資源。
280 案例有附上官方生成影片與分數嗎?
資料集提供測試輸入、互動與相機軌跡,沒有附生成影片、擷取影格或評估分數。使用者需自行產生與檢查輸出。