Halcyon 文生圖研究：不先訓練語言模型，275 倍算力差距怎麼看？
Halcyon 由 Radical Numerics 與 Stanford 研究者提出，以圖文配對資料從零訓練早期融合模型。本文拆解 275 倍預訓練算力比較、畫面品質與提示遵循結果，說明這項研究對生圖模型設計的啟發與限制。
Halcyon 提出一個生圖模型的研究問題，如果目標是根據文字畫圖，是否一定要先花大量算力訓練一個語言模型？研究者用從零開始的圖文訓練，測試另一種分配資源的方法。
許多文生圖系統會先借用語言模型理解提示，再把表示交給影像生成器。這種安排有其實用性，但語言模型的預訓練也需要資源，因此比較完整成本時，不能只算最後的生圖部分。
Radical Numerics 與 Stanford 研究團隊在 2026 年 10 月 15 日介紹這組模型，把文字與影像放進同一個早期融合系統。它沒有先進行獨立的網路規模語言預訓練，但仍使用帶有文字描述的圖文資料。
官方報告其中一組比較，總預訓練算力少 275 倍，仍取得較好的受測畫面分布指標。這個倍率說的是訓練投入，不能解讀成每張圖片生成快 275 倍，或所有使用者帳單會按比例下降。
這項研究適合關心模型設計與訓練效率的人追蹤。若目的是選擇今天就能交付商業作品的工具，還需要另外測解析度、文字準確率與使用條件，先看它改變了哪一段訓練流程。
Halcyon 是什麼？讓文字與影像一起學習的模型
Halcyon 是一組從圖文配對資料學習的多模態生成模型，多模態指的是同時處理不同型態資訊。這裡的資訊是文字和影像，因此研究可以觀察兩者如何在共同訓練中建立關係。
官方介紹的模型規模從一億到四十億參數，參數是模型學習後保存的數值。模型大小會影響能力與資源需求，但相同參數數量也不保證不同架構有相同表現，所以研究仍需要受控比較。
依 Radical Numerics 原始研究介紹，系統把文字與影像都轉成離散標記，放在共同序列裡訓練。離散標記可以理解成模型使用的固定代碼，讓不同資料能進入同一套預測流程。
它採用自回歸方式，根據前面資訊預測接下來的標記。這個原理也常用在文字生成，但影像要先轉成可處理的代碼，再由還原元件變回圖片，因此不能直接把它當成純文字模型。
研究中使用一億組圖文配對，訓練影像尺寸為 256×256 像素。這個尺寸是理解結果的重要前提，因為高解析商用作品還有其他畫面細節與運算要求。
模型訓練一次完整圖文資料，並釋出多個規模與配方。這讓研究者有機會觀察尺寸、訓練方式與表現之間的關係，但公開模型存在，仍不等於每一台電腦都能輕鬆執行。
早期融合和後期融合差在哪？算力花在哪裡也不同
早期融合讓文字與影像較早進入共同模型，後期融合則常把兩者分成不同元件處理。因為資料交會的位置不同，系統需要的預訓練與整合方式也會改變。
以常見後期融合為例，語言模型先把提示轉成表示，另一個影像生成器再根據這些表示畫圖。好處是可以利用已有語言能力，但若要計算整套系統的訓練投入，前面語言模型也應納入。
早期融合則把文字標記與影像標記放進共同模型，讓兩者在同一流程互相影響。不過早期融合不必然代表沒有語言預訓練，因為其他方法也可能先用純文字訓練，再加入圖文資料。
這次研究的特別之處，是測試從零開始、主要依靠圖文配對訓練的安排。研究者因此可以比較，先把資源花在純文字上，和把資源直接放到圖文任務上，對生圖結果有什麼影響。
沒有語言預訓練，代表完全沒看過文字嗎？
圖文配對本來就包含文字描述，因此模型仍然需要學習文字和畫面的關係。官方所說沒有語言預訓練，指的是沒有先進行獨立的網路規模純文字預訓練，不能寫成完全不需要語言資料。
文字分詞器的建立也使用了圖文描述與 OpenWebText，所以更不能把整個系統描述成與文字資料無關。分詞器負責把文字切成模型可處理的標記，它和生成模型預訓練是不同步驟。
分清這些階段有助於理解研究問題，作者要問的是資源如何分配，而不是文字在生圖過程中是否可以完全消失。若忽略這點，容易把一項控制實驗誤讀成推翻所有語言理解需求。
275 倍算力差距怎麼算？先對齊完整預訓練口徑
官方最高倍率來自指定模型與基線的整體訓練比較，包含語言模型、影像編碼與影像生成部分。因為不同系統的資源分布不同，只看最後生成器會低估某些方法已使用的前置訓練。
研究報告 16 億參數版本和 JiT-T2I 的受測強化版本相比，總預訓練運算量少 275 倍。畫面分布指標 gFD 為 35.3，對方為 41.0，這個指標在該評估中愈低愈好。
另一組 5.2 億參數版本與 LlamaGen 受測版本比較，總預訓練運算量少 18.2 倍，gFD 也較低。兩組倍率不同，說明節省幅度和比較對象有關，不能把最高值當成每組模型都適用。
gFD 用來觀察生成圖片和真實圖片分布的接近程度，所以它提供一種整體品質角度。但它無法單獨告訴讀者，畫面是否精確遵守提示裡的數量、位置與文字要求。
因此，較好的 gFD 不能直接等同所有商業工作都更好。若要做商品圖，細節一致性很重要；若要做中文海報，文字正確率又是另一個問題，兩者都需要對應測試。
官方為減少資料差異，讓影像生成器使用相同圖文資料與解析度訓練。但語言預訓練的存在和規模仍是研究要比較的變因，所以完整算力口徑必須和結論一起保留。
三組實驗怎麼測語言預訓練？把猜測變成可比較條件
研究用不同安排檢查語言預訓練是否有幫助，而不是只拿兩個成品比較。因為成品差異可能同時來自資料、架構與訓練量，控制變因才能較清楚回答資源分配問題。
一種做法是在固定預算中，先分出部分資源做純文字預訓練，再做圖文訓練。作者報告在受測比例下，畫面分布指標反而變差，表示減少圖文任務資源可能抵消語言訓練帶來的好處。
另一種做法是保留完整圖文訓練，再額外增加純文字預訓練。即使總資源增加，研究在該設定中仍沒有看到生圖品質改善，因此結果不只是固定預算下的簡單排擠效果。
作者也從已有純文字預訓練的 Qwen3 模型開始，再接圖文資料，並和相同架構從零訓練比較。受測結果同樣沒有帶來生圖增益，為前面觀察提供另一種對照。
這些實驗共同支持的，是在作者測試的資料、規模與訓練安排下，語言預訓練未改善文生圖表現。它沒有證明所有大型多模態任務都不需要語言能力，也沒有涵蓋所有可能的訓練方法。
對模型開發者而言，這是一個值得重新檢查的成本假設。若任務所需資訊能從高品質圖文配對學到，額外語言預訓練是否划算，就應透過對照測試回答，而不是只沿用慣例。
畫面品質和提示遵循，為什麼要分開看？
一張圖看起來自然，仍可能畫錯物件數量或左右位置，所以生圖評估需要多個角度。研究除了 gFD，也使用 GenEval 與 DPG-Bench，觀察組合描述和較長提示的遵循程度。
GenEval 會測物件數量、顏色與位置等組合條件，能幫助發現「畫得像，但畫錯題目」的情況。DPG-Bench 則關注較長、較詳細的描述，因此它們補充了整體畫面分布看不到的資訊。
官方報告部分模型在這兩項測試優於受測基線，並展示相同提示下的生成結果。這些是模型生成的研究示例，不能當成真實新聞照片或實際場景的紀錄。
但提示遵循分數仍無法涵蓋所有使用需求。例如連續多張人物圖的一致性、繁體中文字形或複雜品牌元素，可能需要另外準備測試題，才能知道模型是否適合工作流程。
這也提醒一般使用者，模型排行榜提供的是測試切面。若工作最後要交付客戶，應用自己的內容標準比較，而不能把一項研究領先直接等同已具備完整商業工具能力。
同一份訓練預算，還能學會看圖寫描述？
研究也調整部分訓練樣本的順序，讓模型先看影像再預測描述。因為原本為了無條件生成而丟掉的文字，可以改放到影像後面，因此同一批資料能加入影像轉文字的學習訊號。
官方報告這樣的安排能學會圖片描述，同時維持具競爭力的生圖表現。這裡的「沒有額外預訓練成本」限定該實驗設計，並不代表整個模型沒有訓練成本，或所有新功能都可以免費加入。
這項結果和主題相呼應，資料如何排列與任務如何共用，會影響同一預算能得到什麼能力。因此，效率研究也包含訓練配方設計，不只是減少模型大小。
開放模型適合怎麼試？先確認任務，再看條款與資源
目前較適合把這組模型當成研究與原型評估的起點，因為公開成果最強的證據仍在受控測試。團隊可以從接近論文的解析度與任務開始，確認自己的環境能重現哪些結果。
取得 官方列出的模型檢查點 前，應先閱讀各版本的模型說明與使用條件。公開下載代表有資源可研究，權重、程式與資料的授權仍要分別確認。
如果目標是中文行銷圖，可以固定一組提示測試物件、數量、位置和文字，再保留所有輸出。這樣能看出失敗比例，避免只挑最好的一張展示圖，誤以為每次都能達到相同品質。
部署費用也需要自己的量測。預訓練算力節省是開發模型時的比較，使用者每次生成圖片的延遲、記憶體需求與電力成本，仍取決於所選版本和執行方式。
若團隊需要高解析輸出，也要把放大或後製流程納入。因為研究訓練尺寸和最終商用尺寸可能不同，後處理會增加時間，也可能改變細節，不能只看基礎模型的一段生成時間。
Halcyon 常見問題
275 倍是出圖速度嗎？
官方倍率描述特定模型與基線的總預訓練運算差距，不能換成每次出圖速度或使用者費用的同比例改善。
它完全沒用文字資料嗎？
模型使用圖文配對的描述，文字分詞器也有文字資料，因此研究省略的是獨立網路規模語言預訓練。
已經證明比所有商用生圖工具好嗎？
研究比較特定基線與任務，並沒有涵蓋所有商用工具、解析度與使用情境。
一般使用者最值得注意什麼？
把畫面品質、提示遵循和完整費用分開看，再用自己的工作內容測試，比直接沿用最高倍率更能幫助選工具。
結語：生圖效率的問題，從訓練資源如何分配開始
Halcyon 的研究價值在於用控制實驗檢查一個常見前提，文生圖是否一定要先依賴大規模語言預訓練。作者在受測條件下提出不同答案，讓圖文資料本身和訓練配方的重要性更清楚。
對研究者與模型開發團隊，這是一個值得追蹤的效率方向。對要製作成品的使用者，下一步仍是確認模型是否符合自己的品質、解析度與授權需求，讓研究成果經過實際任務的檢驗。
想延伸了解生圖模型如何處理文字版面，以及模型訓練投入應如何估算，可以接著閱讀以下文章，再回到官方資料追蹤後續成果。
延伸閱讀：MOSS-Image 開源：5B 生圖模型如何控制文字位置與海報版面？
延伸閱讀：Hugging Face 算力估算近 10 億美元：開放模型的訓練投入、範圍與使用價值
