Runway Diffusion-UI 初步展示:即時生成介面,資料、狀態與操作如何連起來?
Runway Diffusion-UI 初步展示:即時生成介面,資料、狀態與操作如何連起來? 整理官方公告、適用條件與實務判斷,區分產品宣稱與已公開證據。
Runway Diffusion-UI 想讓生成畫面也能被操作。一般生成圖片可以畫出漂亮介面,但按鈕能不能點、天氣數值從哪裡來,往往不在同一張畫面的能力範圍內。
Runway Labs 在 2026 年 11 月 17 日展示 Diffusion-UI,研究把結構化資料、介面狀態與可操作控制一起交給即時生成模型。
官方示範讓地圖路線與天氣資料以資料物件輸入,也能移動框線、調整大小或輸入提示來改變畫面。
這讓生成介面開始接近持續互動的軟體,不過公開內容仍是初步研究展示,沒有提供完整商用服務的價格與可用性承諾。
對介面設計與互動原型研究者,這項工作值得關注。若要承載付款、醫療或需要穩定無障礙操作的服務,還需要更多可靠性證據。
要理解這次研究的進展,先看官方如何讓外部資料進入畫面,再看畫面變動時需要保存哪些操作意義。
Runway Diffusion-UI 如何使用結構化資料?
官方示範把路線、即時天氣或其他 API 資訊包成資料物件,供生成模型渲染介面。API 是軟體交換資料的入口,而這次研究關心的是,如何讓取得的資料成為畫面的具體條件。
Runway Labs 的原始發表把 Diffusion-UI 稱為新的研究應用,讓生成介面使用結構化資料、保留狀態並產生控制項,公開的是初步展示。
結構化資料可以理解成有明確欄位的內容,例如位置、溫度與時間各自放在指定欄位。它比一段含糊描述更容易讓系統知道哪些資訊需要對應到畫面。
JSON 進入模型,和畫一張天氣圖差在哪?
在 資料輸入展示中,官方說明可以把精確路線、即時天氣或其他 API 內容作為 JSON 物件輸入。JSON 是常見的資料格式,用名稱與數值表示欄位。
因此介面可以有可指認的資料來源,而不必讓模型憑一句話猜出地點或數字。這是研究方向的改變,但資料能輸入,不代表所有畫面文字都已經通過精確性驗證。
例如天氣資料提供二十五度,畫面就應該顯示同一個數值與地點,不能因為重新生成而變成另一種資訊。這是設計者需要驗收的對應關係,並非本次新聞已完成的測試結果。
真實資料仍需要更新與失敗處理
如果來源變慢或暫時無法連線,介面應能讓使用者辨認看到的是舊資料。生成畫面再自然,也不能讓一個過期溫度看起來像剛取得的結果,因此資料時間本身應被保留下來。
路線資料也有相同問題。地圖呈現可以有風格變化,但起點、終點與轉彎位置仍應對回來源,否則漂亮畫面就可能掩蓋錯誤,讓使用者做出不同的操作。
資料能進入畫面之後,介面還要回應人的操作並保留狀態。

Introducing Diffusion-UI.
— Runway Labs (@runwayml_labs) November 17, 2026
Interactive software where every pixel is generated by a real-time model. Today, we're sharing a new research application that lets generated interfaces use structured data, maintain states and generate controls.
Here’s an early look: pic.twitter.com/M5PB5RyOaS
移動框線、提示與控制項怎麼改變介面?
展示中的畫面會隨互動重新生成,使用者可以調整框線、文字提示與控制項。官方把這種互動描述成每一幀都會重新渲染,因此它關心的是持續變動的畫面,而非一次產出的靜態圖。
依 框線操作展示,使用者可以移動與調整邊界框大小,讓生成場景跟著改變。邊界框就是圈出一個區域的外框,用來告訴系統要調整哪一塊。
文字提示也能進入互動過程
另一則官方示範說明,可以輸入提示改變場景、加入物件或即時編輯。對原型工作來說,這能讓設計者在操作中調整外觀,不必每次先離開畫面重新製作素材。
不過外觀改變與功能改變需要分開看。要求場景改成夜晚,是呈現方式的調整。要求刪除一筆資料,則會改變外部狀態,兩者不應只因都能用文字描述就共用同一種批准方式。
官方首段展示使用字磚遊戲畫面,能看到工具列與可選取的生成區域。它適合呈現畫面如何被操作,但光看這段影片,還不能知道所有遊戲規則由哪一層負責維持。
為何要把可操作的地方畫出來?
官方控制項貼文指出,滑鼠移到附近時會出現白色外框,提示按鈕、滑桿與其他控制項。這能協助使用者辨認哪些地方可以互動。
傳統介面通常透過固定元件暗示用途,生成介面的外觀卻可能持續改變,因此更需要清楚的操作線索。否則一個看起來像按鈕的圖案,到底能不能按,就容易變成猜測。
若畫面中的控制項移動,也應保留它原本對應的動作。使用者拖動的是音量滑桿,就不能在重新生成後變成亮度控制,這是功能意義是否穩定的問題。
操作方式變得直接,畫面上的文字與控制對應卻更需要一致性。
資料來源、版型與風格分層有什麼用途?
官方把資料、參考版型、風格與文字提示分層,讓不同層能各自提供生成條件。原始展示沒有把所有內容都塞進單一提示,而是列出這些可組合的來源。
從設計角度推導,資料層處理要呈現什麼,版型處理資訊大致放哪裡,風格影響色彩與材質,文字提示則提供當次調整方向。這是理解分工的方式,不是官方已公開的完整系統實作。
分層可以讓調整有更明確的對象
假設一個資料面板需要換成活動視覺,理想上可以改變風格,同時保留數值與欄位關係。這樣設計者就能比較呈現方式,而不用每次重新輸入整份資料。
反過來,如果更換風格時連數字都變了,就代表不同層之間的約束還需要檢查。因此分層的價值,應看它是否真的保留不該改變的內容,而非只看設定介面列出多少項目。
對多人協作來說,分層也有助於說清楚修改範圍。資料負責人可以確認內容,設計者調整版型與風格,產品負責人再核對操作,不必讓每次視覺調整都變成全系統重做。
複雜三維場景也是展示方向
官方另展示沉浸式遊戲場景,說明研究不只處理平面儀表板,也探索更複雜的三維介面呈現。
這個方向可能讓場景本身成為資訊介面,例如在物件附近顯示可操作的內容。不過三維視覺越豐富,使用者是否找得到主要控制、能否回到前一個狀態,也就越重要。
因此不能只以畫面複雜度評價進展。若使用者要完成的工作很簡單,一個穩定又容易辨認的控制項,可能比持續變化的場景更有效,選擇仍應跟著任務走。
條件分層有助於調整,但還不能證明所有生成畫面都能當可靠軟體使用。
從展示走向產品,哪些證據還不足?
初步展示沒有公開可重現的完整效能、安全性與無障礙測試,不能直接推論可取代現有介面。Runway Labs 也在 收尾貼文表示仍在探索工具,後續會分享更多原型。
截至 2026 年 11 月 18 日,本次已讀原始貼文沒有列出正式服務價格、公開取得方式或完整開發介面。因此對一般使用者,合理的行動是追蹤研究進展,不能依展示自行編出安裝步驟。
即時不代表所有裝置都有同樣延遲
官方用即時生成描述互動,但貼文沒有提供足以比較的每秒影格數、端到端延遲與運算條件。影片能順暢播放,與使用者在不同網路或裝置上操作的等待時間,是不同證據。
若未來有可用工具,團隊應量測從操作到正確畫面出現的時間,以及高負載時是否仍可用。只比較生成速度,而不看數字與控制是否正確,可能把錯誤更快地展示給使用者。
無障礙需要畫面以外的結構
有些使用者依靠鍵盤、螢幕閱讀器或放大文字操作軟體。生成像素能呈現按鈕外觀,卻還需要可辨認的名稱、焦點順序與操作意義,才能支援這些方式。
這是從軟體需求推導出的驗收項目,本次原始貼文沒有公布相關完整測試。因此不能因滑鼠示範成功,就推定鍵盤操作、輔助工具與不同文字尺寸也已經支援。
外部操作不能只靠畫面判斷
如果未來介面可以下單、改資料或控制設備,按下按鈕後的結果應由可查核的系統狀態確認。生成一個成功畫面,不足以證明外部操作真的完成,更不能讓模型自行決定操作批准。
因此試驗範圍應先選擇能接受畫面變動、又能檢查資料的情境。
設計與開發團隊可以先做哪些準備?
先把資料來源與可執行動作列清楚,再決定哪些呈現方式可以交給模型變動。即使工具還在研究階段,這份分工也能幫助團隊辨認自己想解決的是視覺製作,還是實際操作。
例如概念展示可以允許材質、色彩與場景變化,正式帳務介面卻需要固定的金額、日期與確認步驟。兩種需求若混在同一張展示清單,很容易錯用相同的完成標準。
為每種變動設定不該改的內容
可以先列出必須精確的資料,例如數值、姓名、地點與單位,再列出可自由調整的外觀。未來比較原型時,就能看哪些改動保留了資料,哪些需要額外限制。
也可準備幾個會改變狀態的簡單操作,要求系統保留前後差異。例如增加項目後,數量應同步變動,取消後則應回到原狀,而不是只讓畫面看起來有反應。
測試內容應有正常與例外情境。來源空白、數值很長、網路失敗或使用者快速連續點擊,都可能暴露狀態與呈現不同步的問題,這些比單一精心安排的片段更接近實際使用。
如果是三維原型,也應保留容易回到主要操作的位置。視覺可以探索,使用者完成任務的路徑則需要能被重複走完,否則試看的人很難比較不同版本的改進。
最後把原始資料、操作步驟與觀察結果分開保存。這樣未來工具推出新版本時,才知道改善的是畫面自然度、資料精確性,還是互動穩定度,而不只是一段更好看的影片。
保留資料與操作規則的獨立紀錄,才有辦法比較未來工具是否真的改善互動。
Runway Diffusion-UI 常見問題
Runway Diffusion-UI 已經是可購買的正式產品嗎?
本次官方原始貼文將它定位為初步研究應用,並表示後續會分享更多原型。已讀資料沒有提供正式價格與完整取得方式。
傳入 JSON,就能保證所有數字都畫對嗎?
JSON 提供明確資料條件,但畫面是否精確呈現,仍需要核對。本次展示沒有提供足以保證所有輸入情境的完整測試。
它可以直接取代既有網站介面嗎?
目前公開證據不足以支持這個結論。正式服務仍要處理資料一致性、操作結果、效能與無障礙,應依任務逐項驗證。
先研究互動邊界,再評估生成畫面的用途
Diffusion-UI 值得關注的地方,是讓資料、狀態與互動一起成為生成條件,讓介面研究從一張漂亮圖片往持續操作推進。
對設計與原型團隊,可以先整理哪些視覺允許變動、哪些資料與動作必須固定,再追蹤官方後續工具。對需要穩定交易與明確操作責任的服務,則應等待可重現的可靠性證據,讓採用決定跟著實際任務,而不是只跟著展示影片。
延伸閱讀:Runway App Studio 是什麼?用文字打造 AI 創意工具,費用、共享與使用限制一次看
延伸閱讀:Runway Dev 外掛串接 Cursor:MCP、技能、API 金鑰與生成費用怎麼分?