Cola2 語意壓縮研究：先生成內部語意，再寫成文字，能省下什麼？
Cola2 把語意壓成連續表示，再由文字解碼器生成內容。本文拆解字節Seed與港大新研究的兩種實驗、3460億Token成績及Qwen初始化條件，說明程式權重仍待公開。
語言模型逐個 Token 生成文字時，既要決定要說什麼，也要把內容排成讀得通的句子，Cola2 嘗試將這兩種工作分開安排。
如果先用較少的內部表示抓住語意，再把細節交給文字解碼器，兩種工作或許可以分開處理。
香港大學與字節跳動 Seed 的研究者在 2026 年 10 月公開 Cola2，嘗試讓語意壓縮與文字生成一起適應。
作者公布了從頭訓練的控制實驗，也有使用既有 Qwen 解碼器的較大規模成果，這兩組證據回答的問題不同。
我認為它提供了值得繼續驗證的生成架構，但目前程式與權重仍標示稍後公開，訓練資料比例也不能直接當成聊天速度。
先看語意如何被壓成內部表示，才能知道這套方法省了什麼、又把工作留給誰。
Cola2 壓縮的是語意，和縮小模型檔案差在哪裡？
它把文字區段轉成連續的內部表示，改變生成過程處理的資訊，不是把既有權重轉成較低位元。低位元量化是用較少儲存空間記錄模型參數，Cola2 處理的則是語言生成本身。
一般文字模型以 Token 為單位接續內容。Token 可能是一個字、詞的一部分或標點，模型要在這些離散選項中決定下一個輸出，才能拼成完整句子。
研究把這件事拆成兩層。較高層先用連續數值表示一段語意，較低層的解碼器再把它寫成文字。解碼器就是把內部資訊轉成實際輸出的網路。
連續表示不像字典裡只能選某個固定項目，可以在數值空間裡變動。但它本身不會成為讀者看到的句子，最後仍需要選出離散的文字單位，語言才算真正生成。
這種分工希望讓較高層不用逐字處理全部細節，能把計算集中在更精簡的表示。然而，少用幾個內部位置，不會自動減少最後要輸出的字數，解碼工作仍然存在。
也因此，它不能直接和把模型檔案縮小的技術比較容量。兩者可以影響不同成本，但這份研究沒有證明，既有聊天模型只要換一個儲存格式，就能取得相同能力。
研究關心的是，內部表示究竟該保留什麼，才能幫助下一層寫出有用文字。如果只縮短表示、卻丟掉決定內容的重要資訊，後續解碼器就只能猜。
語意壓成較少表示以後，首先要決定哪些文字應該被放進同一組。
動態切分如何避免每組文字都用同一種長度？
模型依內容安排語意區段，再用回饋控制平均壓縮率，兼顧區段意義與計算預算。語意區段指的是一組共同表達某段內容的文字，長度不一定相同。
固定每幾個 Token 分成一組比較容易安排，但分組邊界未必符合內容。相關文字可能被拆開，兩段不同意思也可能硬放在一起，壓縮後就更難保留原本關係。
Cola2 讓切分隨輸入內容調整。模型在訓練中找到對後續任務有用的分組方式，再用實驗比較效果，省去逐句人工安排語法結構。
動態分組也有成本問題。如果模型總是切得很細，語意可能保留得較多，卻失去減少處理量的目的。反過來，切得太粗又可能把重要差別擠掉。
作者因此加入不依賴額外損失函數的回饋控制，讓平均壓縮率靠近目標。損失函數是訓練時衡量做得好壞的目標，這裡把控制長度和學習表示盡量分開安排。
回饋控制不代表每一組都必須一樣長。它限制的是整體平均使用多少表示，同時讓內容較需要的地方仍有機會保留較細的區分，這正是動態切分的用途。
研究也測試區段長度上限。上限變大並非一路改善，因為更長區段帶來不同壓縮負擔。因此，實際配方仍要依資料與模型容量調整，不能只追求最大壓縮率。
切得合理仍不足夠，解碼器必須真的使用這些壓縮資訊。
解碼器怎麼學會重建內容，也補上語意沒有保留的細節？
研究混合乾淨、帶雜訊和被移除的語意條件，讓解碼器同時學忠實還原與自主生成。這是避免它只會依賴完美輸入，或完全忽略高層資訊的安排。
如果訓練時永遠提供乾淨語意，解碼器可能很會把已知內容還原，但高層生成器提出不夠準確的表示時，它就未必能適應，實際生成也會遇到落差。
帶雜訊的條件讓解碼器面對不完整或有偏差的表示，被移除的條件則讓它練習自主補出內容。乾淨例子仍保留，避免完全失去忠實使用語意的能力。
作者在一組實驗中選擇四成移除、四成雜訊、兩成乾淨的混合。這是特定設定的較佳平衡，不是往任何模型套同樣比例，都能得到相同分數的公式。
另一個問題是解碼器可能太強，自己就能猜出文字，讓壓縮表示變得沒有作用。研究因此檢查，把語意表示打亂後，表現是否明顯下降，確認模型真的依賴對應內容。
官方在指定消融實驗中，把語意表示打亂後，表現下降十二點二個百分點。消融實驗是刻意移除或更動一個組件，看結果如何改變。這裡的差距支持語意配對確實有用，並非只靠解碼器自己生成。
這項測試比只看生成句子通順更有意義。句子通順可能來自解碼器既有語言能力，只有換錯語意時的差異，才更接近它是否使用了上層資訊。
訓練時，文字預測的誤差也會回頭調整編碼器。編碼器負責把原文壓成內部表示，因此解碼結果會影響它學著保留哪些內容，兩邊不是各自訓練完就永遠不動。
解碼器開始影響語意表示後，連續生成器還需要避免把整個表示空間拉向另一個目標。
生成語意、解碼與重新編碼，為何要形成循環？
連續生成器提出一段語意，文字解碼器產生內容後再重新編碼，讓下一段看到的是實際已說出的文字。否則，上層以為說過的內容，可能和真正輸出逐漸分離。
研究的連續生成器使用 Flow Matching 學習表示的分布，可以把它理解成學會從雜訊走向有用語意的路徑。它先產生交給解碼器的條件，經過文字生成後才成為讀者看到的內容。
這個生成器的訓練訊號沒有直接回傳到編碼器。作者保留文字端對表示的調整，卻阻斷另一條梯度，避免表示只為了方便連續生成，而偏離後續寫文字需要的資訊。
梯度是訓練時告訴參數應往哪個方向調整的訊號。阻斷其中一條，不是把整個模型凍結，而是決定哪種目標可以改動哪個部分，讓分工比較穩定。
推論時，生成器先提出一個區塊，解碼器實際寫出文字，再按固定區段配置重新編碼。這份更新後的表示會成為後續歷史，減少高層沿著自己想像的舊內容繼續走。
重新編碼也增加工作。語意壓縮雖然減少高層處理的位置，卻多了回饋步驟，所以實際速度必須把整段循環一起計算，不能只算其中一個模組的理論處理量。
這也讓內部表示和最後文字之間的關係可被檢查。如果後續內容接不上前文，問題可能來自高層預測、解碼或回饋，而不是單看最後一句文字就能定位。
這套設計是否有效，需要先在訓練條件一致的實驗裡比較。
從頭訓練的控制實驗，證明了哪些設計選擇？
約兩千一百億 Token 的控制實驗用來比較切分、監督與解碼方式，不能和借用既有模型的結果混為同一組。控制實驗的用途，是盡量固定其他條件，觀察某個設計改動的影響。
作者在五項下游任務檢查組件，例如動態切分是否比固定分組有幫助，以及文字生成監督是否讓壓縮表示保留更多可預測資訊。這些問題比單一最高分更接近架構是否成立。
研究也比較持續共同訓練和停止更新部分模組。若編碼器不再適應解碼器，內部表示和文字需求就可能慢慢錯開，這讓共同調整的價值有了相應對照。
但壓縮版本的收斂並不總是比較快。官方摘要指出，未壓縮的 Cola-MDM 在這組整體擴展比較中較強，Cola2-MDM 則在較後期繼續縮小差距，尚未明顯飽和。
收斂指的是訓練結果逐漸穩定，後續資料帶來的改善變少。尚未收斂表示可能還能進步，卻不是保證只要繼續訓練就一定超過所有對照。
因此，這組證據支持某些設計選擇，也保留了訓練難度和資源需求。它不是一張證明新生成方式已全面取代逐 Token 模型的成績單。
作者也測試高層生成器和文字解碼器如何分配模型容量。在總量固定的指定比較中，兩者的比例會影響效果，因此不能只擴大壓縮部分，就假設最後文字品質必然一起提高。
控制實驗回答了架構問題，較大規模成果則還包含既有模型帶來的知識。
60.10 分與四十三倍資料差距，為什麼不是效率定論？
這組結果使用 Qwen 初始化解碼器，而比較模型的訓練配方、分詞與資料計數不同，資料量比例沒有隔離架構本身的貢獻。初始化是把已有參數當成新訓練的起點，不是完全從零開始。
作者另外以 Qwen3-4B-Base 建立因果文字解碼器，在約三千四百六十億來源 Token 的訓練後，得到八項任務平均 60.10 分。這個數字描述該次後續訓練，不包含既有模型所有先前學習成本。
同一張表中的 Llama-3-8B 平均為 66.25 分，所以不能說 Cola2 整體超過它。新方法只在其中兩項任務較高，這能顯示特定能力，卻不能代替全部任務一起比較。
其中兩項較高結果分別是 HellaSwag 的 41.75 對 39.21，以及 StoryCloze 的 80.42 對 79.49。它們支持部分語意任務可以有競爭力，但另外六項仍會影響總平均，不能只留下有利的兩列。
資料量超過四十三倍的差距，也是依表格列出的來源量計算。不同分詞方式會影響同一段文字被算成多少 Token，不同解碼器起點又帶來額外知識，兩者都會改變比較意義。
原作者在討論串也提醒，從頭訓練與 Qwen 初始化版本的分詞、上下文和解碼設定不同，不能把它們當成只改初始化的一組控制實驗。研究有分開說明，讀分數時也應保留這個分界。
研究有了初步能力，不代表實際生成速度和可取得程度已經跟上。
現在可以下載嗎，實際速度還欠哪一段證據？
截至二〇二六年十月二十六日查詢，官方頁面把程式和模型列為稍後公開，並指出端到端速度還受解碼器、引導分支、回饋與硬體利用影響。端到端指從輸入開始到實際文字完成的整段過程。
連續生成部分的計算減少，是值得研究的方向，但文字解碼仍要執行，額外引導可能增加運算，重新編碼也有成本。如果硬體沒有有效平行處理，理論節省不一定轉成同樣的等待減少。
因此，我會把 Cola2 當成語言架構研究追蹤。真正值得採用的下一份證據，是完整可重現材料加上相同硬體、輸出長度與品質條件的時間比較，讓壓縮的收益和付出的工作一起被看見。
延伸閱讀：EntroPack 開源：模型壓縮不必只選 4 位元，如何配合顯示記憶體預算？
延伸閱讀：Samsung LittleBit 壓到 0.1 位元：13B 模型不到 1GB，為何仍要看記憶體與品質？
Cola2 常見問題
Cola2 已經提供可下載模型嗎？
截至二〇二六年十月二十六日查詢，官方頁面把程式與模型列為稍後公開，可讀論文、方法介紹與展示。
三千四百六十億 Token 是從零訓練的全部成本嗎？
該組實驗使用 Qwen 初始化解碼器，來源 Token 數不包含既有模型的全部先前訓練成本。
語意壓縮一定能讓聊天更快嗎？
端到端時間還包含解碼、引導、回饋和硬體執行，必須在完整流程中量測。
