lucidml 開放 GTA 世界模型:630M Summaryformer 如何記住畫面,為何還不能當完整遊戲?
lucidml 解說 Summaryformer,開放約630M參數 GTA 世界模型權重及推論程式。了解九十六個摘要代碼、固定快取、互動控制與長程一致性限制。
Summaryformer 讓玩家按下移動鍵,直接看見神經網路產生下一段 GTA 風格畫面。畫面是模型接續算出來的,背後沒有 GTA 遊戲引擎替它保存完整世界。
lucidml 作者 Abhishek Sensharma 在 2026 年 11 月 15 日公開技術解說,並提供約六億三千萬參數模型學到的數值檔案,也就是權重,以及推論程式與互動展示。這讓外部開發者能下載檢查生成過程。
長時間互動最難的地方,是模型不能永遠把過去每張畫面都留在快速記憶體。保存越多,讀取成本越高,但丟得太快,又可能忘記剛走過的地方。
Summaryformer 的做法,是保留最近畫面原貌,較早畫面改存少量摘要,再留住開場影像。這能固定歷史快取的大小,卻不代表世界從此不會漂移。
我會把這次開放當作研究即時生成與記憶壓縮的材料。若你想做可保存任務、物件狀態與長期進度的遊戲,仍需要另外建立能被檢查的世界狀態。
要理解兩者的差別,先看按鍵如何變成影像,再看舊畫面被壓縮後,模型實際還留住什麼。
Summaryformer 從按鍵與影像接續畫面
這個模型接收起始影像與移動控制,產生接下來的影格,而非執行既有 GTA 程式。畫面中的街道和人物,是網路根據先前內容預測出來的視覺結果。
在一般遊戲裡,程式保存角色座標、物件位置和任務狀態,再把世界畫到螢幕上。這個展示則從影像出發,接收 WASD 移動鍵,直接生成下一段看起來合理的畫面。
所以車子出現、人物往前走,不能單憑影像推論底下已有相應的車輛物理和任務系統。模型可以產生這些外觀,但能否長期保住同一個物件,屬於另一項需要驗證的能力。
這次下載的是哪一個模型
原作者稱 GTA 版本約有六億三千萬參數,也就是模型學到的數值規模。它有二十八個主要運算區塊,和大型通用聊天模型相比較小,目標則是持續生成互動影像。
原作者已在十一月十二日轉引權重與推論程式釋出的消息。十一月十五日的新文章,進一步說明 Summaryformer 的記憶設計。新解說不應被誤認為模型當天才首次出現。
這個 GTA 版本沒有文字提示輸入。作者另有通用世界模型展示,不能把另一個展示的文字控制能力,直接加到目前這份下載檔案上。
畫面每次接續產生,也就讓過去資訊保存多久成為核心限制。

最近留原貌,較早畫面改存九十六個摘要
每張潛在影格有一千零八個原始代碼,模型另學九十六個摘要代碼供未來回看。潛在影格是圖片先壓成的數值表示,模型在這個較小空間運算,再把結果轉回可見影像。
這裡的代碼可以想成模型處理影像的基本單位,並不是九十六句文字筆記。摘要也沒有另找一個聊天模型撰寫,而是和影格內容在同一次運算中形成。
每個運算區塊會把相應摘要保存下來,留給後面的影格參考。因為摘要和畫面一起訓練,哪些訊息值得留下,是由生成任務逐步學到,而非作者手動列一份道路或物件清單。
最近的資訊保留得較完整:目前影格和前兩張影格使用原始代碼。更早的二十二張影格則只留下摘要,另外保存起始影像作為視覺參考。
因為原始細節和摘要佔用的空間不同,這個安排也有相應取捨。剛看的內容還在眼前,較久的部分只剩重點。重點若沒留下某個細節,後面就不能保證從摘要把它完整還原。
不過影像摘要不是人能直接閱讀的筆記,讀者無法從「九十六個」就知道它保存了哪些物件。要判斷是否真的記住路口,仍要讓模型回到同一個位置,看生成結果能否對上。
摘要保留哪些訊息由訓練決定,因此小快取同時伴隨資訊被壓縮的取捨。
固定快取減少歷史讀取,不能直接換算成四倍速度
官方列出的六千五百二十八個快取鍵,和同長度保留完整歷史的兩萬六千二百零八個相比,需求較小。快取鍵是模型回看歷史時要讀取的索引表示,數量影響這部分運算。
如果每多走一段就把所有畫面原樣留下,歷史會持續變長,讀取成本也跟著上升。固定窗口則只保存指定範圍,較舊的摘要最終仍會被新的內容替換。
因此,這種設計處理的是「歷史不能無限增加」的問題,而非聲稱完整記住整場互動。它讓這一部分需求維持固定,但系統保存的過去也始終有限。
讀取鍵數約降到原本四分之一,不代表實際每秒影格增加四倍。生成還包含其他網路運算、影像轉換,以及控制訊號傳入的等待,整體表現需要另行測量。
生成一張潛在影格時,程式會先經過三次去雜訊步驟,再做一次乾淨內容的運算,把歷史快取留下。去雜訊是逐步把暫時的影像表示修成輸出,這些工作不會因歷史索引變少就全部消失。
這也不是整張顯卡記憶體需求的比例。模型權重是模型學到的數值,運行時與暫存資料、其他快取仍要一起佔空間,不能只用這組鍵數替讀者估一個最低硬體容量。
作者以一次潛在影格解出四張可見影格,二十四張潛在影格窗口對應九十六張可見影格。這說明窗口的表示方式,仍不能直接換算成所有設定下固定幾秒的長期記憶。
讀取鍵數能說明設計方向,使用者仍要另測裝置上的延遲與畫面品質。
開場影像能當錨點,長程一致性仍未解決
模型保留起始畫面,讓生成過程能持續參考同一個視覺起點。當其他歷史逐步被壓縮或替換,這張影像仍提供人物、場景和外觀的初始線索。
隨著互動往前,起始影像與目前位置的距離也會變大。作者調整這個參考影像的位置表示,讓它繼續出現在可用範圍內,並沒有因此產生一張包含最新世界狀態的新影像。
所以這個錨點保存的是起點,不是隨時更新的地圖。你走過幾個路口、遇見哪些車,仍需要靠模型保存的其他表示維持,而那些資訊會受到窗口和摘要容量限制。
原作者明說模型尚未訓練至收斂,訓練預算也限制了長上下文能力。收斂表示在既定訓練方式下,模型的改善逐漸穩定,不能因為有記憶架構,就跳過這個訓練限制。
對開發者來說,長程一致性可以落到具體觀察:轉身回看時建築是否仍相同,短暫離開後物件會不會消失,持續移動是否讓街道樣貌逐步偏離起點。
因為畫面可能連續而物件已改變,這些問題能揭露生成世界和保存世界的差別。若作品需要任務進度和碰撞規則,單純從畫面看起來連續,還不足以驗收那一層功能。
這個參考點不能代替完整地圖或物件清單,也無法保證轉身後每樣東西都還在。
開放權重與推論程式,訓練程式仍未公開
Apache 2.0 涵蓋這次提供的權重與推論材料,完整訓練流程並不在公開範圍。推論是載入既有模型生成畫面,訓練則是用資料更新模型數值,兩者需要的材料不同。
外部開發者可以下載模型,閱讀控制輸入、快取安排與輸出流程,檢查某個可見結果如何產生。這讓技術討論不必只依靠作者剪出的展示片段。
但如果要從零製作相同模型,仍缺少公開訓練程式。作者說明資料組成和架構,不等於已交付能完整重現訓練的每個步驟,不能把這次開放稱成全流程可重製。
依作者說明,模型先接觸大量影像、影片與長片段,再用約八百小時 GTA 遊玩資料調整,資料包含錄製的控制訊號。這些數量是作者報告,本刊沒有獨立稽核資料集。
訓練看到按鍵與後續畫面,有助於學習移動之後通常看見什麼。它並不自動補上遊戲引擎那種精確的場景狀態。因此資料來源也不能直接被當成完整遊戲能力的證明。
模型和程式的授權,與其中遊戲名稱、素材及第三方內容的權利,也應分開。Apache 2.0 並不是 Rockstar 對這份模型背書,更不等於任何遊戲素材都可任意重新販售。
能重跑推論與能從零重訓,是開放程度不同的兩件事。
先驗互動和狀態,再決定拿來做哪種作品
研究者可以先比較固定控制序列、轉身回看與長時間連續生成。固定起始影像和操作順序,能讓不同設定的差異更容易被看見,而不是每次都換一段漂亮片段。
第一輪可以先確認控制有沒有被持續反映:往前、停止、轉向之後,畫面是否按照預期改變。這是在驗證互動性,和只播放一支預先生成影片有不同要求。
第二輪再看狀態是否留得住。先選畫面中能清楚辨認的路口或物件,離開一小段再回來,記錄它的形狀、位置與周圍關係是否改變。
因為玩家感受到的是整次操作,延遲也應放在整條路徑量測。玩家按下按鍵,到畫面反映動作,中間包含傳輸、模型運算和畫面呈現。只知道網路能產生影格,還無法說操作一定順手。
若延遲讓玩家反覆補按,送入模型的控制序列也可能和原本意圖不同。測試時保留按鍵時間與畫面回應,可以區分模型沒有反應,還是畫面較晚呈現之後造成過度操作。
目前公開推論路徑需要 CUDA 顯卡,服務以每個程序對應一名玩家。程式的預設伺服器工作階段還有一百八十秒限制,不能把短展示直接推成可長期多人共同遊玩的服務。
如果目標是研究影像記憶,這份材料已提供可檢查的設計與程式。若目標是有任務和保存進度的遊戲,應另外列出資料狀態由哪一層保存,不讓每一個規則都靠畫面猜測。
把視覺示範和可持續遊戲機制分開驗收,才知道缺少的是哪一層。
Summaryformer 常見問題
Summaryformer 是 Rockstar 的新遊戲嗎?
這是 lucidml 原作者的神經網路研究與展示,並非 Rockstar 官方產品。模型產生 GTA 風格的影格,不代表原有遊戲程式、任務和完整物理系統已被公開。
這個 GTA 模型可以輸入文字改世界嗎?
公開 GTA 版本以起始影像與移動控制為主,文字提示部分已移除。作者另有通用世界模型展示,查看功能時要辨認自己下載和操作的是哪一份模型。
記憶快取變小,就一定更快嗎?
較少歷史鍵能降低這部分讀取需求,但整體速度還取決於其他運算與設備。官方鍵數比較不是每秒影格或整體顯卡記憶體的等比例測速。
有下載檔案,就能完整重現訓練嗎?
目前公開的是權重與推論材料,訓練程式沒有一併公開。開發者能檢查如何生成畫面,但從零訓練相同模型還需要更多流程、資料與設定。
如果你想研究即時生成,先下載作者公開材料,用相同起始影像和控制順序比較結果。若作品需要可保存的任務進度,則把世界狀態另列為驗收項目,讓視覺實驗與遊戲功能各自有清楚目標。
延伸閱讀:PAN 2 世界模型開源:先模擬再行動,34% 完整計畫完成率代表什麼?
延伸閱讀:world2vec 世界模型研究:不用獎勵學動態,為何會控制還不代表懂物理?