推理模型蒸餾怎麼學？Raschka 第 8 堂用 Qwen3 0.6B，從教師答案走到獨立評測
推理模型蒸餾能把教師模型的解題示範教給小模型。本文依 Sebastian Raschka 第 8 堂公開教學，整理 Qwen3 0.6B、教師資料、答案驗證與 MATH-500 評測，說明蒸餾和強化學習如何選擇。
小模型執行負擔較低，遇到多步驟數學題時，卻可能一下就答錯。推理模型蒸餾提供一條學習路線，讓較小的學生模型從較強教師的解題示範開始練習。
Sebastian Raschka 在 2026 年 10 月 17 日分享 Reasoning From Scratch 第 8 堂，將蒸餾作為先前強化學習訓練的另一種方法，示範從資料準備到 Qwen3 0.6B 訓練與評測的完整流程。
這個教學值得注意的地方，是把「向大模型學習」拆成可看見的資料與程式。開發者可以檢查教師答了什麼、學生學了哪些文字，以及最後在沒有看過的題目上答對多少。
但教師寫出很長的解題過程，不代表每一步都正確，也不能把那段文字直接當成模型內部的實際計算紀錄。學生學到的是提供給它的示範，示範若有問題，錯誤也可能被學走。
對想理解訓練流程的開發者，這是一個可以小規模練習的起點。若目標是企業應用，則要先有可驗證任務與可靠資料，再考慮把教學流程換成自己的資料。
要判斷這條路適不適合自己，先弄懂學生究竟在模仿什麼。
推理模型蒸餾是什麼，學生到底學到什麼？
推理模型蒸餾是利用教師模型提供的解題資料，訓練較小的學生模型產生類似回答。教師是產生示範的一方，學生則是被更新內部數值、學習這些示範的一方。
以數學題為例，資料可以包含題目、正確答案、教師產生的解題文字與最後答案。學生反覆閱讀這些配對之後，會調整產生下一段文字的方式，希望在遇到類似問題時也能完成解題。
依 作者的第 8 章資料生成說明，教學把標準答案與教師輸出放在不同欄位。這個安排很重要，因為教師答案本身仍需要被核對。
學會解題文字，等於複製教師的內部思考嗎？
公開示範是模型產生的文字，無法單憑這些文字知道教師內部的完整運作。即使學生學會相似的推導格式，也不能據此證明兩者使用相同計算機制。
因此，蒸餾是否有效要看新的問題能否答對，以及錯誤是否減少。若只比較回答長度或語氣，學生可能看起來更像老師，卻沒有提升你在意的任務結果。
例如學生開始寫出「先整理條件、再代入公式」的步驟，但最後的數字仍不對，就只能說格式更接近示範。這也是為什麼資料準備、訓練與評測需要分開設計。
相反地，若學生用較短回答完成同樣的任務，對某些應用反而更有價值。因此導入前應先決定要改善的是正確率、成本、速度，還是回答的可核對程度。
有了這個目標之後，才知道該向教師取得什麼訊號，以及何時值得改用其他訓練方式。
軟蒸餾、硬蒸餾與強化學習，差在哪裡？
教師能提供完整機率分布，或只能提供最後產生的文字，會影響學生能學到的資訊。這也是軟蒸餾與硬蒸餾最容易理解的差別。
軟蒸餾讓學生學習教師對不同候選答案的相對偏好。硬蒸餾則利用教師已選出的文字作為訓練目標，資料比較容易儲存與檢查，但看不到沒有被選出的其他可能。
強化學習的起點又不同，模型先產生答案，再依結果得到回饋。若能可靠檢查答案是否正確，就可以利用回饋調整行為，但需要反覆生成與驗證。
以下比較的是學習訊號來源，不能直接用這張表決定所有任務該選哪一種。
| 方法 | 學習訊號 | 適合先確認的條件 |
|---|---|---|
| 軟蒸餾 | 教師對候選結果的機率偏好 | 能否取得教師分布與相容資料 |
| 硬蒸餾 | 教師產生的文字或答案 | 示範是否正確、可使用且可驗證 |
| 強化學習 | 模型嘗試後得到的獎勵或評分 | 評分是否可靠、試錯成本能否承受 |
表格中的硬蒸餾，與這次公開教學的文字示範路線最接近。因此學習重點會從「讓模型不斷試」轉成「先準備值得模仿的資料」。
有教師示範，為什麼還有人用強化學習？
教師資料可能不夠多、涵蓋範圍不合需求，或學生需要學會在新情境裡試出更好的策略。如果任務結果能被可靠評分，強化學習就可能補上示範以外的探索。
但如果評分本身容易出錯，模型也可能學到迎合測驗的捷徑。所以無論選哪一條路，都得先問資料與回饋能不能代表你要的成果。
延伸閱讀：RLVR 與 GRPO 怎麼訓練推理模型？Sebastian Raschka 公開教學再受關注
對第一次練習的人，先把小量示範與獨立評測做清楚，比一開始就追求複雜訓練流程更容易找出問題。
教師資料怎麼準備，才不會把錯誤傳下去？
先把原始問題、標準答案與教師回答分開保存，才能知道錯誤發生在哪一層。若把教師答案覆蓋到正解欄位，後續就可能拿錯誤答案當標準，讓整個評測失去意義。
作者的資料格式保留問題、正解、教師產生的過程文字與最終回覆。這使開發者可以分別檢查「過程看起來合理」與「結果真的答對」兩件事。
教師答對了，所有過程都能留下嗎？
仍需要檢查推導與答案是否一致。有些回答可能中間計算錯誤，最後卻剛好碰到正確選項。若把它當成優質示範，學生可能模仿錯誤步驟。
示範也可能太長，超過學生這次訓練設定能完整閱讀的範圍。第 8 堂特別討論 2,048-token 限制與序列長度，因為截斷會改變學生實際看見的資料。
Token 是模型切分文字後使用的單位，英文單字、中文字與程式符號都可能有不同切分方式。因此不能把這個長度直接當成固定字數，需要查看資料處理後的實際分布。
例如最後答案被切掉，學生學習的就是不完整範例。若沒有記錄截斷比例，看到訓練結果不佳時，很容易誤以為模型太小，實際問題卻出在資料處理。
因此應先查看長度分布、最終答案是否存在，以及資料是否重複。對格式明確的數學題，也可以用答案解析工具輔助過濾，再抽查無法判定的案例。
可以直接呼叫任何商用模型產生資料嗎？
作者提供本機 Ollama 與代管服務的資料生成範例，讓讀者依硬體選擇教師來源。但模型與服務的使用條件可能不同，產生資料前仍要確認是否允許這項用途。
付費請求的成本也應算進實驗預算。教師資料不是只產生一次就永遠正確，重做、過濾與人工查核都可能增加支出，所以第一次可以先用小樣本檢查流程。
延伸閱讀：Anthropic 防蒸餾研究解析：資料擷取減少九成以上，Claude 開發者要留意什麼
資料可以清楚追溯之後，才有條件判斷學生訓練改善的是能力，還是單純更會模仿。
Qwen3 0.6B 訓練時，為什麼不能只看 loss 下降？
Loss 是訓練時計算的誤差指標，在這裡主要反映學生產生的文字和示範有多接近。它下降，表示學生更能預測訓練目標，但不能直接證明新題目答對率也提高。
Qwen3 0.6B 是教學採用的小型基底，0.6B 指約六億個參數。參數是模型訓練時更新的內部數值，使用較小模型，可以降低觀察訓練流程所需的資源。
但小型教學的結果有自己的範圍，不能直接套到大型模型或另一個領域。若任務換成會計文件、客服政策或程式審查，資料格式與正確答案的判定都會不同。
訓練集與驗證集要怎麼分？
訓練集是模型真正拿來更新數值的資料，驗證集則用來觀察它對未直接訓練樣本的表現。若兩邊內容高度重複，驗證結果會比較像記憶測驗，無法回答泛化能力。
泛化指的是遇到新資料時仍能完成工作。若題號不同但敘述幾乎一樣，也可能讓評測過度樂觀，所以資料切分應保留來源並檢查相似內容。
訓練期間還應記錄使用哪份教師資料、哪個模型版本、輸入長度與停止條件。這些紀錄讓你在結果變差時回頭定位，不必靠印象猜是哪次修改造成。
把訓練指標與實際答題結果並排，才知道模型更像教師之後，有沒有真的解決問題。
MATH-500 評測要怎麼讀，才不會把記住答案當進步？
MATH-500 是用來觀察數學解題的題目集合。用它比較訓練前後表現時，最基本的條件是測試題沒有進入訓練資料，並且評分方式前後一致。
作者的 公開程式庫提供評測與答案驗證相關工具，讓學習者能檢查最後答案，而不只是觀察模型是否產生完整段落。
但答案解析也可能出錯，例如等價的數學表示式被判成不同，或回答包含多個候選值讓解析器抓錯。因此不應只看一個總分，還要抽查被判錯與被判對的樣本。
比較教師與學生時，要固定哪些條件？
至少固定題目、提示格式、生成長度與評分規則。如果一個模型能反覆嘗試多次，另一個只答一次，兩者結果就混入額外運算的影響。
評估成本時，也要把生成答案所用的時間與資源列出。若蒸餾提升正確率卻大幅拉長回答，對即時服務是否有利，仍需要回到應用需求判斷。
數學分數改善後，還要保留一份自己領域的測試。因為數學題能直接驗證數值，其他工作可能需要查來源、遵循政策或處理缺資料，成功條件並不相同。
所以這堂課最值得學的是如何建立能比較的實驗，而不只是複製一個訓練指令。
第一次實驗，怎麼決定是否繼續加資料？
先看錯誤類型是否隨訓練改變。如果原本常漏讀條件，訓練後開始正確整理條件卻算錯，就代表進展與剩餘問題可以分開處理，不能只看總分增加多少。
若新增資料後只改善已看過的題型，對其他題型沒有幫助，就需要補資料覆蓋或重新檢查目標。繼續加入相似示範，可能只讓既有模式學得更牢。
因此，蒸餾實驗的下一步應由錯誤紀錄決定。保留題目、教師版本、學生版本與失敗原因，會比單獨保存一張評分截圖更能支持後續改進。
推理模型蒸餾常見問題
推理模型蒸餾一定比強化學習便宜嗎？
不一定。蒸餾需要教師資料、生成與清理成本，強化學習則有反覆嘗試與評分負擔。應以同樣驗收標準比較完整成本，不能只比單次訓練。
教師寫出的過程，就是它真正的內部思考嗎？
公開文字是模型輸出，無法單靠它重建全部內部計算。學生學會類似文字，也不代表內部機制與教師相同，所以效果仍需獨立評測。
沒有大型顯卡也能學嗎？
可以先讀程式、檢查資料與跑較小樣本，硬體需求則依模型、訓練設定與序列長度而變。教學以小模型降低入門負擔，但本文沒有宣稱所有電腦都能完成相同訓練。
模型在 MATH-500 變好，就能直接拿來工作嗎？
還需要自己的領域測試。數學答案、政策遵循與文件擷取有不同成功條件，因此不能用單一數學分數代替產品驗收。
先做可核對的小實驗，再決定是否訓練自己的模型
如果你已有明確任務、可靠示範與獨立測試資料，Raschka 第 8 堂是一條適合學習的路線。先用小樣本確認教師資料、截斷與評分都正確，再增加訓練量，比直接追求漂亮總分更容易得到可解釋結果。
若連正確答案怎麼判都還不清楚，先投入資料與驗收設計會更有幫助。因為學生會朝提供的目標學習，目標定錯，訓練得更順也無法補救。
想持續了解推理模型、公開教學與評測方法，可以免費訂閱 AI 郵報，並從一份可重現的小型實驗開始累積判斷。
