UI Remix 開源專案解析:用多模態 RAG 安全混搭優秀 App 排版與元件,不再盲目抽卡

由蘇黎世聯邦理工學院(ETH Zurich)與 Adobe Research 合作發表的開源專案 UI Remix,結合多模態 RAG 與 GUI-CLIP 檢索真實行動端介面,支援全域排版與局部元件混搭並提供來源透明度,徹底改善 AI 生成 UI 的黑盒抽卡體驗。

Share
ETH Zurich UI Remix 多模態 RAG 行動裝置 UI 混搭設計研究系統架構圖

找靈感時,設計師習慣在手機上截圖幾十個優秀 App 的畫面,心裡想著「如果能把 A 應用的導覽架構,跟 B 應用的卡片元件結合起來該有多好」;但丟給一般生成式 AI 後,往往只會得到一個既不像 A 也不像 B、甚至充滿幻覺元件的粗糙結果。

由蘇黎世聯邦理工學院(ETH Zurich)團隊攜手 Adobe Research 發表於 IUI 會議的開源研究系統 UI Remix(GitHub:ETH-PEACH-Lab/UI_Remix),正是為了解決這種「盲目抽卡」困境而設計。

它透過 多模態檢索增強生成(MMRAG),讓設計師在創作行動裝置 UI 時,能有憑有據地檢索真實世界 App 介面,並在全域(Global)與局部(Local)兩個層級之間精準混搭與改編。

延伸閱讀:Screenshot-to-Code 破 8.1 萬星!截圖轉前端程式碼開源專案怎麼用? 延伸閱讀:14 萬星神級合集!Awesome LLM Apps 開源專案精選與實作靈感

ETH Zurich UI Remix 多模態 RAG 行動裝置 UI 混搭設計研究系統架構圖
蘇黎世聯邦理工學院推出的 UI Remix 透過多模態 RAG 與 GUI-CLIP 檢索真實 App 介面,讓設計師安全混搭全域版面與局部元件。 圖片來源:官方來源。

UI Remix 的核心突破:多模態 RAG 與雙層級混搭

不同於純文字 Prompt 生成介面,UI Remix 把「以例為師(Example-Driven Workflow)」做成了可互動的系統架構:

  • 全域與局部雙層級調適(Global & Local Adaptation):使用者可以先透過 MMRAG 搜尋並鎖定一個整體架構優秀的 App 畫面作為「全域骨架」,再針對其中的單一模組(例如篩選器、商品卡片或底部導覽列)進行「局部替換與混搭」,不必為了改一個元件而打掉整張畫面。
  • 來源透明度線索(Source Transparency Cues):這是產品團隊最在意的一點。UI Remix 在推薦參考介面時,會同步顯示該真實 App 的評分、下載量級與開發者等背景資訊,幫助設計師判斷這個設計模式是否經過真實市場驗證,進而建立對 AI 建議的信任感。
  • 現代化的全端技術棧:專案架構相當乾淨透明,前端採用 React 19、TypeScript 與 Vite,後端則以 Python FastAPI 驅動,搭配 ChromaDB 作為向量資料庫,並使用專為介面理解訓練的 GUI-CLIP 模型完成跨模態檢索。

一般文字生成 UI vs. UI Remix 多模態 RAG 比較

比較維度 傳統文字 Prompt 生成 UI UI Remix(MMRAG 研究系統)
設計依據 依賴模型內部模糊記憶 透過 GUI-CLIP + ChromaDB 檢索真實介面範例
混搭控制粒度 整頁重新生成,難以局部鎖定 支援全域整體版面與局部單一元件分層調適
可信度與來源 無法得知靈感出處(黑盒) 提供App 評分、下載數、開發者等來源透明度線索
主要應用定位 快速產出概念草圖 行動端 UI 設計探索、參考混搭與人機協作研究

本地架設與研究參考指南

對 AI+UX 工具開發者或設計系統研究人員來說,UI Remix 的程式碼庫是非常值得拆解的範本。

你可以從 GitHub Clone ETH-PEACH-Lab/UI_Remix 儲存庫,分別啟動基於 Vite 的 React 19 前端與 FastAPI Python 後端,並依照文件準備向量索引與 API 環境變數。即使不直接用於商業生產,它將 GUI-CLIP 檢索、ChromaDB 向量庫與來源可信度介面 結合的架構,也為企業內部建立「私有設計資產 RAG 系統」提供了極佳的參考藍圖。

常見問題(FAQ)

Q1:UI Remix 是商業產品還是學術開源專案?

UI Remix 是由蘇黎世聯邦理工學院(ETH Zurich PEACH Lab)與 Adobe Research 合作發表的學術研究與開源系統,程式碼公開於 GitHub,非常適合設計師研究其工作流理念,以及開發者參考其 MMRAG 技術實作。

Q2:為什麼 UI 檢索要用 GUI-CLIP 而不是一般 CLIP 模型?

一般的圖文 CLIP 模型主要針對自然風景與日常照片訓練,對「按鈕層級、表單結構、導覽列語意」等介面特徵敏感度較低;GUI-CLIP 專為圖形使用者介面最佳化,能更準確地比對版面佈局與元件功能相似性。

Q3:系統中顯示 App 評分與下載量有什麼實際用途?

在實務設計中,「好看」不等於「好用」。顯示來源 App 的真實市場評分與下載量,能讓設計師區分哪些排版是經過大量用戶驗證的成熟模式,避免被冷門或體驗不佳的視覺稿誤導。

結語:從盲目抽卡走向有憑有據的混搭設計

AI 輔助設計不該是一場碰運氣的拉霸遊戲。UI Remix 示範了當生成式 AI 結合多模態檢索與來源透明度後,設計師如何從「反覆修改 Prompt 的苦力」,回歸到「挑選優秀模式、進行有意識混搭」的決策核心。歡迎免費訂閱 AI 郵報,每週追蹤更多開源 UI/UX 工具與設計系統實戰解析。

Read more