FINAL-Bench 天氣模型排行榜上線:每天核對預報,AI 比傳統模型準該怎麼看?

FINAL-Bench 公開二十四城天氣模型比較看板。拆解共同案例、ERA5 再分析、Darwin 融合、WeatherBench 2 自報成績與授權,了解平均誤差能回答什麼。

Share
FINAL-Bench 官方天氣評測看板,以同一組案例比較各模型預報誤差
官方七日最高溫預報誤差榜,圖中範圍為二十四城、2026年二月一日至十一月七日。圖片來源:FINAL-Bench/VIDRAFT。 圖片來源:官方原文。

FINAL-Bench 把天氣模型的比較做成每天更新的看板:先記下各模型對同一城市的預報,等核對資料出來,再看誰的誤差較小。這比只看一張發布日成績表,更接近使用者反覆選擇預報來源的問題。

FINAL-Bench 與 VIDRAFT 於 2026 年 11 月 13 日介紹 Global Weather Model Leaderboard,並公開 Darwin-Prediction-Weather 融合預報系統與相關紀錄。

目前看板涵蓋六大洲二十四座城市,分開比較最高溫、最低溫、最高風速與降水量。排名使用共同案例,避免某個模型只回答容易的日期卻被拿來直接比較。

不過,核對基準是 ERA5 再分析資料,不等於每座城市的地面氣象站紀錄。開發者也同時提供參賽系統,因此榜首與改善幅度應以其自報評測來理解。

我會先看城市、預報提前天數與變數是否接近自己的用途,再查看原始紀錄和授權。全球平均最低誤差,未必就是某個地區最合適的行動依據。

接下來從共同案例如何形成公平比較開始,再看融合模型、歷史核對與公開資料還有哪些限制。

每天比同一批案例,才能區分模型與題目難度

看板把模型放在相同城市、日期與預報提前天數下比較。

天氣模型的輸出範圍和資料缺漏不一定相同。若某個模型只有部分城市的預報,另一個涵蓋更多難預測地區,直接把各自全部誤差平均,就可能把題目差異算成模型能力。

看板因此採用共同案例,只在所有列入比較的模型都有預報時,才把該城市與日期放進評分。這讓每個模型面對相同天氣,也讓缺漏不會悄悄改變各自的考卷。

提前天數也要分開。例如同樣是週五的降雨,週四做的一日預報,和前一個週五做的七日預報,掌握的資訊不同,不能混成一個未註明時間的準確度。

專案把最高溫、最低溫、最高風速和降水量分成獨立頁籤,還能依城市和時間範圍檢視。這對使用者有意義,因為在意低溫的農業工作,未必和在意風速的活動有相同選擇。

原文也描述每日滾動的時間軸,將已可核對的歷史結果和往後十天的預報並列。未來的格子是預測,只有核對資料到齊後,才能進入已驗證紀錄。

因此,使用看板時可以先固定一個變數、一座城市與一段提前時間,再比較模型。若每次為不同模型挑最有利的條件,雖然都能找到好看的數字,卻無法回答同一個使用問題。

案例交集讓排名較能解釋,但也必須知道哪些日期因缺資料而未被納入。

FINAL-Bench 官方天氣評測看板,以同一組案例比較各模型預報誤差
官方七日最高溫預報誤差榜,圖中範圍為二十四城、2026年二月一日至十一月七日。圖片來源:FINAL-Bench/VIDRAFT。 圖片來源:官方原文。

ERA5 與誤差指標,決定排行榜回答什麼問題

排行榜需要共同核對值,這裡選用的是 ERA5 再分析資料。

ERA5 是整合觀測和大氣模型的再分析資料,提供一致的歷史天氣估計。它適合形成共同比較基準,但和某座氣象站在特定時間、位置量到的數值有不同來源。

所以看板的誤差表示預報和 ERA5 之間的差距。若要問住家附近的降雨、山區風速或局部極端事件是否準確,仍需要更貼近所在地的核對材料,不能只依城市平均值判斷。

評分使用 RMSE,也就是把預測差距平方、平均後再開根號的誤差指標。較大的錯誤會受到更多影響,所以它能呈現整體偏差,卻不會直接告訴你每一天是否跨過某個行動門檻。

不同變數的單位也不能混比。溫度看攝氏度,風速看公里每小時,降水量看毫米,一個變數的數字較小,不代表它比另一種天氣預測更可靠。

官方文章以截至十一月七日的紀錄列出一至七日結果。七日最高溫預報中,Darwin 的誤差為二點零九度、對照 AIFS 為二點四一度,這是該組城市和期間下的平均比較。

如果實際需求是超過某個風速就取消活動,除了整體誤差,還要觀察門檻附近是否常判錯。這是由指標用途推導的驗收建議,不是看板已替所有活動情境完成測試。

降水量尤其能說明平均數的限制。原文的一日比較為 Darwin 四點一五毫米、AIFS 四點三三毫米,差距比部分溫度欄位小。不同指標的改善幅度應分別讀,不能把某一格較大的優勢套到所有變數。

對關心豪雨的人,全年平均又可能掩蓋少數高影響日。若多數日期雨量很少,整體數字表現良好,仍需要另看強降雨案例是否被低估,以及警戒門檻附近的錯判。

專案目前提供共同案例與分頁檢視,讀者可以從這裡追問更細的問題。但是否涵蓋自己需要的極端天氣驗證,仍要檢查公開資料,不能因為畫面有降雨頁籤就假設已完成。

因此,讀者要把核對資料、單位與城市範圍一起看,不能只讀冠軍名稱。

Darwin 融合現成預報,決策模型負責另一段工作

Darwin 的預報引擎利用多個全球預報來源,再做權重融合與局部修正。

Darwin 並不是讓一個聊天模型憑空寫出全球天氣。原文說明,預報引擎先取得多個全球預報,再依過往表現加權融合,並對溫度和風速做局部修正。

融合的概念,是不同模型可能在不同提前時間或地區各有優勢,系統試著用既有成績決定如何組合。這也表示它依賴上游預報的供應與品質,不能把上游工作從成本和資料條件中完全拿掉。

作者表示,修正只學習當次預報發出之前已知的核對值,避免使用未來資料。這是一項重要方法要求,真正重現時仍要保存每次預報的發出時間與可用資料截止點。

另一個部分是 Darwin-27B 決策核心。二百七十億參數模型把預報欄位轉成去或不去、超過門檻的可能性或分類機率,處理的是從天氣資訊走向特定決策的步驟。

因此,即使氣溫預測接近核對值,也不代表行動建議一定合適。活動的承受條件、場地特性與錯判代價不同,需要另外定義門檻,不能把模型回傳的選項當成自然界唯一答案。

一個可行的測試順序,是先保存原始預報,再觀察融合後的誤差,最後檢查決策規則。這樣出現問題時,較容易判斷是上游資料、融合權重,還是使用者給的條件不合適。

融合品質與決策品質應分開檢查,才知道錯誤來自天氣欄位還是行動門檻。

作者自報榜首,還需要讀歷史與獨立驗證邊界

公開數值提供重查起點,開發者也參與排名時更需要留下比較設定。

專案同時開發 Darwin 系統和評測看板,所以其榜首成績應明確標為作者自報。資料公開讓讀者有機會重算,不等於已由每個被比較的氣象機構共同核可。

原文主張,Darwin 在四項變數、一至七日提前時間都有最低誤差。這個結論有城市、期間、共同案例和核對來源的範圍,不能擴張成全球任何位置都最準。

另外,WeatherBench 2 比較的是二零二零年確定性預報設定,包含三種變數與五個提前時間,共十五格結果。它和這份二零二六年城市看板的資料、變數與用途不同。

作者說這十五格的誤差低於當時官方成績表中最佳值,並已提交預報檔案給 WeatherBench 2 團隊。提交是等待外部檢查的步驟,不能直接改寫成官方已接受的新第一名。

歷史紀錄同樣需要讀方法。看板提供從一月起的資料,不代表本文已獨立確認整年每個預報都曾在事前封存。回頭重建的資料和發出當下留下的檔案,有不同的可驗證程度。

因此,重查時值得先看預報時間戳、當時使用的輸入與修正範圍,再確認是否有未來資訊流入。這樣才能把漂亮的歷史表現,接到真正可以持續觀察的前瞻測試。

公開檔案能增加可核對性,真正的事前預測仍需要時間戳與當時可用資料來支持。

開放看板不等於資料與模型都能商用

專案把程式、編整紀錄與模型分別放在不同授權條件下。

看板程式採 Apache License 2.0,而編整後的每日紀錄與 Darwin 模型採 CC BY-NC 4.0。後者帶有非商業使用條件,不能因為下載方便就當成可直接放進收費服務。

底層資料又有自己的來源和條件。文章列出 Open-Meteo、ERA5、各氣象機構與 NASA 影像等材料,所以程式授權不會自動替所有資料和圖像重新授權。

例如,公司只想用公開程式做內部比較,和把整份紀錄包進商業產品,是不同使用方式。應按實際取用的材料核對條件,必要時向專案確認商業使用安排。

資料更新也影響後續維護。若某個上游模型暫時缺預報,共同案例可能變少。若修正模型更新,先前結果則要保留版本,避免舊新方法混在同一條曲線卻沒有說明。

原文還把地面氣象站觀測核對、更多城市與更多變數列為後續工作。這些計畫能說明發展方向,現階段則應依已公開的範圍使用,不能提前把待加入資料算成目前證據。

對一般讀者,查看比較和下載研究材料可以是兩個層次。先用看板理解差異,再決定是否真的需要把程式或模型整合進自己的流程,會較容易掌握責任與成本。

導入前應按實際使用的程式、資料與模型逐一確認,而非只讀一個開放標籤。

FINAL-Bench 天氣排行榜常見問題與使用順序

這個看板適合探索模型差異,實際決策需要再回到所在地與使用情境。

FINAL-Bench 是官方氣象預報服務嗎?

這是社群專案發布的比較看板與融合系統,引用多個氣象來源。它提供模型評測視角,所在地的正式預警與實際行動資訊仍應回到適用的氣象服務。

AI 模型已經全面超越物理模型嗎?

文章在特定城市紀錄中,觀察到 AIFS 優於 IFS、AIGFS 優於 GFS。這些是指定模型配對與評測條件的結果,不能直接推到所有 AI、物理模型和所有天氣現象。

十日預報代表十日都已證明最準嗎?

看板可以呈現往後十天的預報,但文章主要已核對表格是較短提前範圍。越後面的預報要等目標日期及核對資料到齊,才會成為可評分結果。

台灣讀者應該先看什麼?

先確認看板是否有接近需求的地點、變數和時間範圍,再讀核對來源與案例數。若沒有自己的地區,其他城市的平均排名只能作為方法參考,不能直接搬成在地準確度。

可以連續觀察一段時間,把當天看到的預報與之後結果分開保存。這會比只挑一張冠軍畫面,更容易知道模型在哪種情況穩定,又在哪種情況失誤。

我的看法是,這次公開最有用的是比較過程能被拆開檢查。當城市、日期、提前時間、核對資料和授權都清楚,讀者才有條件把排行榜轉成自己的問題,而不是只跟著第一名換預報來源。

把共同案例和自己的地區需求連起來,排名才會變成有用的比較工具。

延伸閱讀:WeatherNext 3 是什麼?Google 每小時更新的 AI 天氣模型,功能、準確度與限制完整解析

延伸閱讀:決策模型怎麼做 LLM 評測?Hamel Husain 教你調門檻、比成本、讀分數

原始資料來源

Read more