Pre-pretraining 研究：先餵合成資料，為何未必比重讀自然語言更划算？
Pre-pretraining研究重測合成資料暖身的運算效益。分清同算力與追加算力、初始化和遺忘，解釋為何受測配方未穩定勝過自然語言訓練，卻不代表一切合成資料無效。
Pre-pretraining 想讓模型先用合成資料練基本功，再開始閱讀自然語言。但先多上一堂課，是否比把同樣時間拿去讀文章更有效，是兩個不同問題。
這個方法通常簡稱 PPT，意思是在正式預訓練前，先訓練一段額外的資料分布。它發生在模型製作流程裡，和使用者先寫一段提示詞不同。
Alexander Stern 等研究者在 2026 年 10 月 29 日公開論文，重新比較合成暖身和自然語言訓練。作者十一月二日在 X 分享結果，讓固定運算預算的問題受到討論。
他們在受測的同算力設定裡，沒有找到合成 PPT 優於純自然語言訓練的穩定證據。即使只有有限的自然語言資料，重讀同一批文字仍較有利。
不過，額外多給運算、且自然語言量很少時，PPT 仍能有幫助。因此，這篇研究挑戰的是先集中暖身這種配置，沒有否定所有合成資料。
對關心小模型效率的讀者，關鍵是先問比較雙方花了多少資源。把追加預算與分配既有預算分開，才能理解看似相反的結果。
Pre-pretraining 的算力，應和誰比較？
多做一段訓練是否有效，必須和同樣資源原本能做的工作比較。如果只看有沒有進步，容易把多花運算得到的收益，當成新資料安排本身比較有效率。
原始研究先固定自然語言訓練量，再觀察追加暖身是否改善。為了知道它是否值得占用既有資源，團隊也固定總運算，比較把預算分給暖身，或全部用在自然語言的結果。
多一份預算，和重新分配預算不同
可以用假設的一百單位運算理解：若原本一百單位全用來讀自然語言，再額外送十單位暖身，表現改善仍要問，若那十單位改讀自然語言會怎樣。
相反地，若總共只有一百單位，拿十單位暖身，就只剩九十單位讀自然語言。這時新方法必須補回被它取代的學習機會，才算更好的資源選擇。
這是解釋比較方式的算例，沒有替論文換算任何金額。實際研究使用浮點運算量衡量預算，避免只看文字數量相同，卻忽略不同模型規模需要的運算不同。
受測的合成內容包含括號配對規則、由簡單狀態更新產生的序列，以及可依條件查找名稱和值的資料。這些設計想先教模型追蹤結構與規則，並不只是多生一些新聞文章。
研究也比較程式碼，以及另一份自然語言資料作為對照。因此，文中所有比較材料不能一概叫做同一種人工合成文字，更不能把結果套到所有資料生成方法。
把資源問題建立後，資料不足時要不要先改讀合成內容，就成了最直接的測試。
只有一億個 token，重讀為何仍能勝出？
在研究限制自然語言資料量的設定裡，將運算用來再讀原資料，比受測合成暖身更有效。這測的是資料有限時，額外運算應該花在哪裡。
Token 是模型處理文字的計量單位，不等於一份文件或一個中文字。這組實驗把可用的自然語言固定在一億個 token，然後允許模型反覆讀同一批內容。
資料讀過一次，不代表已沒有學習價值
重讀可能繼續幫助模型抓到語言規律，所以不能把「已看過」直接當成「再訓練也沒用」。新合成序列雖然可以大量產生，也要證明它比這個替代方案更有價值。
研究另把調整訓練設定的資料和最後驗證用的資料分開。若一邊不斷用同一份考卷挑配方，再把該份分數當新能力，就可能只是在替考卷調整，因此這項區分很重要。
研究主要用保留的自然語言驗證資料衡量表現。這份驗證集有一千萬個 token，不參與當次訓練，能協助觀察模型學到的規律是否轉移，而不只看它記住暖身題的程度。
主要指標是每個位元組所需的資訊量，縮寫 BPB，數字越低越好。它描述模型預測文字的品質，和一張問答考卷的答對率不同，不能直接說降低多少就多答對多少題。
在資料充足的另一組實驗，團隊讓不同方法各自搜尋較適合的模型大小，再比較固定預算下的結果。這避免只替其中一方挑對規模，另一方卻使用不適合的配置。
模型多讀很多文字，結果是否改變？
團隊也讓約八點八一億參數的模型訓練五百億個 token。參數是模型可學習的數值數量，不是記憶體容量，這組設定則代表相對於模型大小讀了較多資料。
其中一種暖身配置，把五億 token 留給前階段，其餘四百九十五億用於自然語言。受測的兩種主要合成配方，仍沒有在語言驗證或整體下游測試勝過基準。
這些結果支持重新檢查集中暖身的資源配置，但不能只憑同預算實驗，就抹掉額外多給算力時觀察到的收益。
追加算力能有幫助，初始化又為何改變結論？
部分小資料實驗確實得到收益，但收益是否來自暖身，要看基礎模型本身是否已調好。初始化就是訓練開始前，各個可學習數值如何設定。
研究先重做一個較早的實驗，找回合成暖身讓困惑度改善約百分之五點四的結果。困惑度同樣衡量文字預測，數字越低越好，但和前面的 BPB 不是同一把比例尺。
基準變好，原本的優勢可能縮小
在這個重做實驗裡，只改變部分初始數值的設定，沒有合成暖身的基準本身就改善約百分之九。套用同樣設定後，兩邊原本的差距消失。
這不是把百分之九減掉百分之五點四，就得到新方法的淨損失。它說明原本的基準還有可改善空間，若沒有一起調整，就容易高估暖身相對於正常訓練的好處。
作者也明說，這個重做實驗沒有在替代初始化下，把合成暖身的資料量重新調到最佳。因此，它適合證明比較對初始化敏感，不能單獨證明所有可能的暖身配方都無效。
在很少自然語言下，額外暖身仍可能有效
更完整的追加算力實驗，讓各方法比較適合的資料量與初始化。在五千萬和一億個自然語言 token 的小預算下，兩種合成暖身方法仍能優於調好的基準。
但自然語言增加到十億 token 後，在較佳初始化下，這些差異落入基準不同隨機執行的波動範圍。這是受測設定的結果，不是所有大模型從十億 token 起都不再受益的定律。
研究多數比較報告三個種子的平均與變動。種子決定部分隨機訓練安排，因此，小幅差距需要連同執行波動看，不能把單次較漂亮的點當成穩定優勢。
這讓兩個看似相反的結論可以並存：額外暖身在某些小資料條件下有用，但同樣資源拿去讀自然語言時，受測的集中暖身沒有穩定勝出。
即使前階段有學到規則，後續訓練能否把它留下，仍是另一個問題。
學完又忘記，混合資料能解決多少？
資料階段突然切換後，模型在原暖身資料上的表現會退步，持續混入能減少這種遺忘。這讓研究從「用了什麼資料」，進一步問到「何時使用」。
集中暖身時，模型先讀一種分布，之後便完全轉向自然語言。若原本學到的模式不再出現，後續更新可能逐步覆蓋它，而不只是把新能力加到舊能力旁邊。
保存暖身能力，和改善語言能力不同
作者追蹤模型在原合成分布上的預測表現，發現階段切換後很快變差。程式碼暖身也有類似現象，所以不能只把退步解釋成新詞彙不再使用。
接著，團隊把同樣的資料分散到整段訓練，每批保留百分之五。這沒有增加該類資料的總預算，改變的是它不再全部擠在最前面。
混合後，模型能持續維持並改善原分布的表現。這支持「突然完全換掉資料會促進遺忘」的解釋，但保持暖身能力，不等於自然語言驗證就一定更好。
論文指出，部分語言指標有改善，卻不是全部達到明確差異。這組較大預算的混合實驗也沒有完成完整超參數搜尋，所以仍不能宣稱百分之五就是最好的通用配置。
對模型開發者，這提供一個具體的研究方向：不只測暖身當下學會多少，也追蹤轉換後還保留多少。若能力很快消失，先前花掉的運算就未必能轉成最後任務的收益。
但這仍是一個待比較的配置選擇。最終問題是同預算下哪些資料安排改善目標工作，而非只把某一個能力保住就宣布成功。
這項結果能否推到所有合成資料與大模型？
目前證據支持重新評估受測的集中暖身配方，沒有涵蓋所有合成資料用途。尤其把較強模型產生的示範拿來教另一個模型，和這篇先學程序規則的設計，並不完全相同。
受測模型都不到十億參數，較大運算設定的調參搜尋也因成本而縮減。這不抹除同條件比較的價值，但會限制它對更大商用模型能說多少。
整體沒勝出，細項仍可能改變
其中一套整體指標合併二十二種測試，涵蓋知識、常識、閱讀與符號推理。不同面向可能往相反方向變化，因此作者沒有只靠某個子任務的進步，就替全部能力宣布勝出。
作者另外檢查語法與知識推理的下游測試，多數整體成績沒有穩定優勢，但個別子任務確實可能改善，也可能退步。若只報告平均值，就會省略這些能力分布的變化。
因此，這項研究較適合回答「這幾種先集中暖身的配方，值不值得分走自然語言訓練預算」，不能直接回答「任何合成資料是否都沒有價值」。
它也提醒比較研究要把基準調好。新方法即使在原本設定下有效，仍應接受替代初始化、不同資源限制與資料時程的檢查，才知道收益有多穩定。
作者在研究程式庫提供訓練與資料準備內容，方便檢查配方。本文沒有重新訓練模型，也沒有把公開程式當成已驗證任何企業都能省錢。
對一般讀者，這份負面結果的價值，是把漂亮的進步數字拉回資源選擇。不是只問多做一段有沒有用，而是問同樣時間與運算本來還能做什麼。
若未來在更大模型、不同混合時程與同預算下穩定勝出，配置判斷就需要更新。想持續追蹤原始模型研究，歡迎免費訂閱 AI 郵報。
Pre-pretraining 常見問題
這是使用聊天工具前先寫背景提示嗎？
不是。PPT 是模型訓練前的一段資料階段，會改變模型參數。使用者提供背景文字，改的是當次對話可讀內容，屬於不同工作。
可以說合成資料已經證明沒用了嗎？
不能。本研究聚焦幾種集中暖身配方與特定語言模型規模，追加算力的小資料實驗仍見收益，也沒有涵蓋所有後訓練與其他模態。
重複讀自然語言，會不會只是死背？
研究用沒有參與訓練的驗證資料和下游題目衡量，所以不只看原文記住多少。但重讀的最佳次數仍受資料、模型與任務影響，沒有無限重讀就會一直改善的承諾。
延伸閱讀：Microsoft 企業合成資料怎麼測 Copilot？三種產業情境與評估邊界
延伸閱讀：Halcyon 文生圖研究：不先訓練語言模型，275 倍算力差距怎麼看？
原始資料來源
