Frontier Design Benchmark 上線:真人設計師、Gestalt 與 AI 網站評比怎麼看?
Frontier Design Benchmark 以 33 個真實工作改寫題目、35 位設計師投票評比網站。拆解製作流程、Elo、不確定性與 Gestalt 更新榜單,協助團隊建立可檢查的設計驗收。
Frontier Design Benchmark 問的是:AI 很快做出的網站,是否符合客戶需求?當版型看起來都很精緻,設計團隊更需要知道評比究竟在看視覺、使用方式,還是對工作需求的理解。
Contra Labs 與 BenchFlow 在 2026 年 11 月 18 日公開 Frontier Design Benchmark,以真實工作需求改寫成設計題目,再請設計師比較結果。這次評測把人的偏好放回了網站生成的討論。
發布貼文提到三千五百九十一票後,設計師排名第一。但本次查詢的官方排行榜,已由標為隱藏身分的 Gestalt 領先。公開榜單會更新,因此不能把發布當下的文案當成永遠不變的結論。
更需要理解的是,人類與 AI 的工作流程不完全相同。設計師有方向提案與回饋,模型也可能使用各自原生的代理工具,因此總分反映的是整套製作過程,不是隔離所有條件後的天分比較。
這些差異並不讓測試失去用途。它讓團隊能問更貼近工作的問題:輸入需求是否完整、比較者偏好什麼、輸出能否說明自己的設計選擇,以及手機上是否仍然好用。
要理解這些結果,得先看題目如何描述客戶需求,再看作品是在什麼條件下完成。本文引用主辦方方法與當次榜單,沒有獨立重做全部投票,也不替隱藏身分的參賽者猜測所屬公司。
三十三個設計題目,如何接近真正的客戶需求
這套評測先從工作需求出發,再比較不同製作者交出的網站。
官方方法頁列出三十三個任務,其中二十七個來自 Contra 上的實際工作需求,另六個由新創公司提供較完整的設計說明。工作需求會改寫為虛構客戶,以保留任務脈絡並降低直接暴露客戶資料的風險。
主辦方先分析約四千六百個網站專案,整理出常見的需求元素,包括服務對象、商業背景、頁面、使用流程、品牌及手機體驗。這個步驟讓題目有較具體的使用目的,而不只是要求做一張好看的首頁。
這會影響評估結果。若任務要求讓訪客預約諮詢,按鈕是否容易找到就與目標有關。相反地,一個與品牌無關的華麗動效,即使第一眼吸引人,也未必回應客戶原本要解決的問題。
六個新創題目還提供品牌素材與產品背景,但不能因此假設全部三十三題都有相同資訊量。資料越完整,製作者就越少需要自行猜測,因此題目提供的素材應和成品一起保留。
對企業而言,可借用的第一步是把需求整理到能驗收的程度。與其只寫現代、專業,可以進一步說明誰會來、想完成什麼、哪一項資訊不能漏掉,以及哪些品牌規則必須遵守。
不過真實工作來源也有範圍限制。Contra 的專案組成,不等於所有政府、醫療、電商或企業內部網站的需求分布。這套評測提供一組有脈絡的樣本,仍不能代表所有設計市場。
題目更接近工作之後,仍要看每一方獲得多少回饋與修改機會。

人類與模型的製作流程,哪些條件不相同
設計師與 AI 都要完成相同題目,但取得方向與使用工具的方式並不完全一致。
人類設計師會先提出三個方向或情緒板,接受回饋後,再用自己選擇的工具完成被選中的方向。情緒板是用圖片、色彩與字體等素材表達視覺方向,讓客戶先判斷風格,再進入完整製作。
AI 作品則由 BenchFlow 的執行環境完成,留下操作過程、輸出與成本資料。主辦方盡可能使用模型原生的代理工具,並透過 OpenRouter 等方式接入模型,因此並非每個參賽者都在完全相同的工具中工作。
原生工具可能讓模型更能發揮,但也讓比較對象變成模型與工具的組合。若某一方善於保留網頁預覽與測試回饋,成品改善可能來自整段工作安排,不能只歸因於模型名稱。
人類能先提出方向並接受回饋,也是一項重要條件。設計工作本來就常透過討論收斂需求,所以這個安排有實務意義,但不能拿它證明人類與 AI 在完全相同單次提示下誰比較有創意。
這提醒採用者先決定自己想比較什麼。如果問題是工作期限內誰交付的網站較合用,就應保留整套流程。如果問題是模型本身能否理解某個條件,就需要另設更一致的輸入與工具。
因此,公開榜單可以協助找值得試用的製作方式,但採購時仍要把人工回饋、修改次數與工具費用分開看。只比較最終畫面,會漏掉交付前需要多少人力協作。
因此讀者可以比較成品偏好,卻不宜把名次直接解釋成純模型能力。
三十五位設計師投票,Elo 排名代表什麼
投票者比較同一題目的兩個作品,主辦方再把偏好轉成整體排名。
主辦方邀請三十五位設計師,針對同一題目的兩個作品進行偏好比較。比較時隱去製作者身分,並可補充色彩、字體、版面、可用性或遵循需求等原因,讓選擇不只剩一個勝負。
成對投票再以 Bradley–Terry 方法估計相對偏好,轉成 Elo 排名。Elo 可理解成把多次對戰結果整理為相對強度的分數,而不是網站品質有一把客觀尺、能精確量出多少單位。
因此,兩個分數相近的作品不一定存在穩固高下。官方頁面也提供區間,呈現有限投票帶來的不確定性。閱讀時應一起看票數、分數距離與區間,避免把一兩名差距當成永遠不會改變的結論。
主辦方還把投票隨機切成兩半,多次計算排名,平均的排序相關係數為 0.92。白話說,這是在檢查換一部分投票後次序是否大致相近,而不是證明每位評審的選擇都客觀正確。
另外,方法頁用設計評分規準與模型判分做一致性檢查。這類檢查能顯示某套規則和人類偏好是否接近,但不能直接推成網站上線後的成交率、閱讀理解或無障礙表現。
企業若借用配對投票,可要求評審把理由接到需求。例如因為手機上主要行動被藏起來而選另一版,就比只說這版比較高級更容易轉成修改任務。偏好的來源清楚,後續迭代才有方向。
名次能提供比較線索,仍需要搭配票數、區間與當次更新時間。
Gestalt 領先與設計師第一,為何可以同時出現在公告
發布貼文與即時榜單記錄的是不同時間,讀法需要把兩個快照分開。
發布原始貼文在十一月十八日寫到三千五百九十一票後,設計師排名第一。但本次查詢的官方首頁,已出現 Gestalt 以 Elo 1931 領先,人類設計師的基準為 1739,排在其後。
這兩段資訊對應不同的時間快照,應並列說明,而不是擇一保留自己喜歡的故事。榜單會新增作品、投票或結果,任何第一名都需要帶著查詢時間,後續引用才知道比較的是哪個版本。
Gestalt 在官網標為隱藏身分,本文無法從這項標示確認它背後的模型或團隊。把它猜成某家未發布產品,會讓一份可查的榜單變成傳聞,因此不適合作為新聞結論。
即使確認參賽者身分,領先仍只表示這套題目與評審偏好的結果。它不等於已驗證服務穩定度、後續維護成本,或每個客戶都會選相同作品,這些需要不同資料才能回答。
Contra 同時經營設計人才與工作平台,BenchFlow 參與評測執行,兩者都不是與市場完全沒有關係的觀察者。公開方法能讓外界檢查,但不會自動消除題目與規準選擇的立場。
這不表示所有結果都不值得看。較好的讀法,是回到同一題目的作品、評語與製作紀錄,找出具體差異。若之後榜單換了第一名,這些差異仍能幫助團隊理解設計品質。
理解排名會變動後,更值得保留的是評審選擇背後的具體理由。
把公開評測轉成團隊的網站驗收
企業可以借用同題配對比較,但把自己的品牌與使用者任務放進驗收。
團隊可以先拿同一份簡報需求,請兩種工具或人機合作方式做出版本,再隱去製作者名稱比較。比較前就寫好目標,避免看到結果後才改成最有利於某一方的判準。
驗收最好同時包含外觀與操作。外觀可以看字級、對比、留白與品牌一致性。操作則讓評審真的找一次資訊、完成一個表單或切換到手機寬度,確認重要動作沒有在縮小後消失。
評審也應來自實際使用者與維護者。設計師能發現版面問題,客服可能知道訪客最常找不到什麼,工程師則能辨認後續修改是否困難。不同角色的理由,比單一平均分更能反映需求衝突。
當兩個版本分數接近,可以先看修改成本。某版可能只需調整文案,另一版卻必須重做內容結構。若只是依總分換掉前者,團隊反而可能增加交付時間。
正式上線後,再用自己的使用紀錄補驗證,例如表單能否送出、使用者是否找到目標頁面。這些資料需要依實際觀察取得,不能直接由公開設計榜單換算成提升多少營收。
這種測試規模不必很大,但應保留需求、版本、評語與修改結果。當作品偏好可以回查到理由,就能知道下一版要改什麼,也比較不會把設計討論變成只爭論誰的品味好。
當偏好能連回需求與實際操作,評測才會幫團隊決定下一步怎麼改。
Frontier Design Benchmark 常見問題
Frontier Design Benchmark 現在是人類第一嗎?
發布貼文的快照如此描述,但本次官方榜單已由隱藏身分的 Gestalt 領先。引用時應保留日期與版本,不能把兩個時間點混成一項固定事實。
Elo 高代表網站轉換率較好嗎?
不代表。這裡的 Elo 由成對偏好估計,沒有直接量測每個網站的實際成交、註冊或使用者任務完成率。
企業可以直接依榜單選工具嗎?
它可協助挑候選方式,仍需以自己的需求、修改成本、手機操作與維護條件試用,才能判斷是否適合。
讓設計偏好能接回工作需求
Frontier Design Benchmark 把真實需求、作品與設計師投票放在同一個討論裡,但名次仍受題目、流程與更新影響。這些條件應隨結果一起引用。
對團隊而言,較實際的下一步是拿一個正在進行的網站需求做配對驗收,保留選擇理由,再追蹤修改是否解決問題。當偏好能被說明與檢查,公開評測就能成為改進工具。
延伸閱讀:Runway Diffusion-UI 初步展示:即時生成介面,資料、狀態與操作如何連起來?
延伸閱讀:Impeccable 教學:62 條設計檢查能抓什麼,為什麼潤飾後還要驗收?