Qwen SLQ 壓縮版達 99% 機率重疊：為何不等於 99% 答案一樣？
Qwen SLQ 新權重把 Qwen3.8-27B 縮至 23.7 至 30.5GB，發行者自報 EAR 達 98 至 99%。本文解釋下一 Token 機率重疊、混合精度、原生推論比較與未完成的下游驗證，判斷自架前該測什麼。
下載模型時看到「無損壓縮」，很容易以為檔案變小，回答卻會和原版一模一樣。
Qwen SLQ 這批新權重採用的是另一種標準：盡量保留原模型預測下一個 Token 的機率分布，而非保證每次生成相同句子。
Token 是模型處理文字的單位。The Kaitchup 在 2026 年 10 月 21 日發布三個 Qwen3.8-27B 壓縮版，權重約 23.7 至 30.5GB，自報測得 98 至 99% 的機率重疊。
這個分數有特定量法，只比較原版最可能的十個候選，再重新換算機率。它沒有證明所有任務的正確率也達 99%。
想在較小權重中保留原版行為的部署者，值得把三版拿來測。需要下游任務已證實等價的人，還不能只看「無損」兩字決定替換。
要讀懂這次發布，先分清機率分布接近，和最後答案相同之間的距離。
Qwen SLQ 的 EAR 測的是什麼？先看下一步的機率
EAR 衡量壓縮版與原版對下一個 Token 的機率重疊，不是完整答案的正確比例。它的英文名稱是 Expected Acceptance Rate，可以先理解成一種比較兩個分布的保真指標。
在這個SLQ發布裡，這種保真是一個明確的搜尋目標。先選想接近原版多少，再找權重的配置，和先做出最小檔案、事後只挑好看的任務分數，是不同的選版方式。
模型生成時，不是只存一個「下一個字」。它會替不同候選分配機率，再依指定規則挑選，因此兩個版本可能把同一個候選放第一名，機率卻已經不同。
發行者的完整模型卡交代，這次先挑原始 BF16 模型最可能的十個候選，讓兩版都在這個範圍重新換算成總和為一的機率，再計算重疊。
BF16 是保存模型數值的一種精度格式。這裡拿它作為參考版本，EAR 分數描述的是壓縮後和這個參考有多接近，並沒有另外替參考答案做對錯判定。
例如，兩個模型都可能認為某個錯誤答案最有可能出現。只要它們的分布相近，保真分數仍然可以很高，所以這個指標不能直接變成知識正確率。
前十個候選的限制也有意義。它把測量集中在原版最看好的選項，卻不是對所有可能輸出的完整比較。重新換算機率之後，分數要連同這個範圍一起解讀。
假設只看兩個候選，原版機率是60%與40%，壓縮版是59%與41%，共同重疊為99%。這是簡化示例，並非SLQ發布表格裡某個真實問題的結果。
若原版改成50.5%與49.5%，壓縮版則是49.5%與50.5%，共同重疊仍有99%，但最可能的候選已經交換。高重疊和每次選到同一個答案，確實是不同條件。
而一個回答通常包含很多步生成。前一步若選了不同文字，後面讀到的上下文也會不同，因此單步分布接近，不足保證整篇回答一樣，更不能直接算成整項工作的成功比例。
這不是說 EAR 沒用。對想縮小模型、又盡量保留原版行為的人，它提供一個可直接優化的目標，比只看檔案大小多了一層可比較證據。
既然想保留的是分布，壓縮方法就得找出哪些位置不能省得太多，而不是把整個模型平均壓到同一個位元數。
混合精度怎麼分配？敏感位置保留較多空間
SLQ 權重讓搜尋替不同投影與部分注意力頭選精度，沒有把所有層壓成同一種格式。投影可以理解成模型裡用來轉換資料的計算部分，對壓縮的敏感程度未必相同。
它使用的是 SLQ 原始方法的客製版本。原方法出自 ISTA 的 DASLab，這次新檢查點則由 The Kaitchup 製作，兩個發布主體應分開。
原始SLQ方法探討如何保留模型的統計行為，客製檢查點則必須用自己公開的量法和結果說話。不能只因為採用一篇方法論文，就把論文其他模型的任務結論搬到新權重上。
檢查點就是保存好的模型參數與設定。方法論文早在五月公開，本次新聞的新意是十月二十一日實際發布的三組權重，不能把它說成這週才出現的量化概念。
量化是用較少位元表示模型數值。位元省得越多，檔案通常越小，但原本數值也越可能被近似。混合精度則允許重要位置花較多空間，其他位置再省一些。
發行者列出的候選來源，包括不同整數精度的 GPTQ、其他方法製作的壓縮權重，以及原始 BF16 數值。搜尋可以從這些選項組合，不必要求每個位置都接受同一種近似。
SLQ 這次還保留部分原始 BF16 權重，運算中的活化數值也使用 BF16。活化是模型處理當次輸入時產生的中間資料，和下載檔案裡保存的參數是不同東西。
因此，把它簡稱為「全模型都變成幾位元」就會失真。對部署者更實際的描述，是哪些參數被壓縮、哪些仍維持原精度，以及推論工具能否正確執行這種混合配置。
模型卡提供逐層精度圖，能看出空間不是平均分配。這張圖解釋的是實際儲存安排，並沒有另外證明某個位置在所有任務中都最重要。
SLQ選出的配置也包含較高精度部分，所以總檔案大小比一個單一位元標籤更有參考價值。若只用「幾位元模型」估空間，就可能漏掉保留的權重與不同層之間的安排。
保留較多原始數值需要更大檔案，所以發行者沒有只交一個「最佳版」，而是讓使用者在三個保真目標中選擇。
23.7、25.6 與 30.5GB，三個版本交換了什麼？
SLQ 三版的差別是權重大小與測得的分布重疊，最大節省和最高保真不在同一個檔案上。以下數字都來自發行者模型卡，並非本站重新測量。
| 版本 | 實測 EAR | 權重檔案大小 |
|---|---|---|
| 原始 BF16 參考 | 100% | 55.563GB |
| SLQ EAR98 | 約 98.0008% | 23.732GB |
| SLQ EAR98.5 | 約 98.5027% | 25.609GB |
| SLQ EAR99 | 約 99.0025% | 30.518GB |
表裡最小版相對原始權重少了約 57% 空間，這也是原始發布貼文的最大節省來源。不能把這個比例放到 30.5GB 的最高保真版上，兩者是不同選擇。
從 EAR98 換到 EAR99，檔案增加約 6.8GB，換到的是這次量法下更接近原始分布。它沒有附上一個通用公式，告訴使用者每多花一GB會少幾次錯誤。
這個空間差距對設備有實際影響。若記憶體已經接近上限，較大的版本可能壓縮其他可用空間。若工作對細微輸出差異敏感，也可能更重視保真，不能只選最小檔。
SLQ 三個分數都非常接近標示目標，因為搜尋直接以 EAR 作為條件。這能說明它達成設定的測量目標，但不能把「剛好達標」進一步解讀成其他未測能力也同時過關。
原始模型是二百七十億參數級，SLQ 這次發布沒有把它改成另一個較少參數的模型。檔案縮小主要來自數值表示與分配方式，而非模型突然只剩一半結構。
這也讓它和單純換小模型不同：使用者希望保留同一個基底的行為，再決定可接受多少近似。三個目標的價值，正是讓這個交換可以被量化和檢查。
不過，拿它和官方 FP8 比較時，除了檔案和目標，還要看兩邊如何執行。
延伸閱讀：Ingot FP8量化競賽：Qwen 27B壓縮版「比官方好」，究竟比較了什麼？
為何同一張 EAR 表，還要看原生或解量化執行？
相同評分公式，不代表所有候選使用相同運算精度。官方 FP8 的兩種執行，就測得不同結果，這是讀比較表時最容易漏掉的一欄。
發行者把官方 FP8 直接以原生權重與活化執行時，測得 EAR 約 97.71%。若先將權重解量化，再用 BF16 執行，則約為 98.10%。兩者檔案來源相同，計算路徑卻不同。
解量化是把壓縮後的數值轉回較高精度表示，方便用另一條路徑運算。它不會把已經近似掉的資訊全部恢復，但會改變之後計算時的精度條件。
這次三個 SLQ 版本的成績，則以打包後的權重在 vLLM 與 Humming 執行。對想實際部署的人，這比只把權重展開後比較多了一層驗證。
然而，同一張表還列有其他壓縮版，其中部分經過解量化或格式逆向對應，再用 BF16 跑。因此可以比較所列路徑的分布保真，卻不能把全部當成同樣原生環境的一場速度賽。
EAR99 比某一列官方 FP8 更接近原始分布，並不自動代表它回答問題更準、生成更快或耗電更少。這幾個結論需要不同測量，原表沒有用一個指標一起回答。
發行者也提醒，換推論工具可能帶來細微差異。即使兩個程式載入同一個檢查點，運算核心與數值處理不同，仍應確認結果，而不是把檔名一致當成全部條件一致。
因此，保留SLQ受測執行方式有助於重做比較。若改了格式或核心，新的測量也值得保存，讓之後看到差異時，能分辨來自權重選擇，還是實際運算路徑。
對自己選版，應先找最接近預計部署方式的那一列，再對照檔案大小。這會比忽略執行欄、只取最高百分比，更能知道數字是否對自己的環境有用。
「統計無損」還沒證明哪些事情？任務與多模態分開驗
模型卡明說，這三版尚未建立下游任務的統計等價性，圖像和影片推論也不在已驗證範圍。名稱裡的無損，應連同這些明確說明一起讀。
下游任務是模型最後被拿來做的工作，例如整理文件、回答影像問題或修改程式。它們的成功與否，取決於很多步生成和工具互動，不只某一步候選文字的分布。
若需求是維持原版的固定輸出格式，便可用同一批輸入檢查欄位、數值與必要條件。若需求是修正程式，則要看測試結果與改動行為，不能只比較兩段文字看起來像不像。
這裡的實測環境是 vLLM 0.31.0、Humming 核心 0.1.16，以及 RTX PRO 6000 Blackwell。它是作者確認文字載入、生成與 EAR 的配置，不是公布所有可運作顯卡的最低門檻。
模型保留原本的視覺權重與處理器檔案，但保留檔案和完成影像、影片驗證不同。實際要用這些輸入時，仍需要測自己的流程，不能從文字載入成功推成完整多模態可用。
SLQ 也保留原版用於多 Token 預測的權重。這類功能可能用於加速生成，但這次沒有包含推測解碼驗證，因此不能把「原封保留」寫成已測得加速倍數。
相較把所有條件藏在「無損」兩字裡，模型卡把已測路徑和未測能力分開，讓使用者更容易決定下一步。這也是SLQ 新發布最實際的判讀方式。
自架者先確認可用記憶體，再用相同工作比較
權重檔案只是記憶體需求的一部分，能下載不等於能在指定顯卡上完整運作。以 EAR99 為例，30.518GB 是檔案大小，不能拿來宣稱一張 24GB 顯卡就能容納整套服務。
推論還需要運算暫存，以及保存已處理內容的 KV 快取。KV 快取能避免每次生成都重算全部前文，但會隨工作內容與同時處理量占用額外空間。
因此，先確認自己的可用記憶體、輸入長度與同時請求數，再挑版本，比先下載最大保真版更合理。同一張顯卡只跑一個短問題，和服務多名使用者，需求不會相同。
選出能運作的版本後，可以保留原始基底作對照，讓三個目標處理相同的代表工作。除了總分，也記下哪些問題變錯、哪些格式不符，以及是否多了重試。
若低一階 EAR 在自己的工作上沒有可接受範圍外的退步，較小權重才是可用的空間優勢。若重要個案受影響，最高總平均也不能取代那些個案的判斷。
SLQ 權重標示 Apache 2.0，使用時仍需核對模型與依賴工具的條件。原作者另外預告 GGUF 版本將在之後推出，截至 10 月 23 日本次查詢，不能把預告當成三個目標都已能以該格式下載。
我會把它列為想維持原版分布、又願意做任務驗收的部署者候選。若只需要最小檔案，或必須已有完整多模態驗證，現有資料還不足直接替自己作決定。
延伸閱讀：RTX 3090 跑 Qwen3.8-27B 達 381 tok/s？HyperQwen 的 4.6 倍適用條件
Qwen SLQ 常見問題
Qwen SLQ 的 99% 代表九成九答案一樣嗎？
不代表。這次 EAR 比較特定候選範圍內的下一 Token 機率重疊，完整任務等價性尚未建立。
這三個版本是 Qwen 官方發布的嗎？
不是。它們以 Qwen 模型為基底，由 The Kaitchup 使用客製 SLQ 方法製作，方法原作者則是 ISTA 的 DASLab。
23.7GB 版本一定能放進 24GB 顯卡嗎？
不能只靠檔案大小判定。運算暫存、KV 快取和執行方式也會占記憶體，必須測實際配置。
GGUF 版已經都有了嗎？
原始發布貼文說是之後推出的計畫，應以正式權重清單確認，不能先把預告當可下載。
用任務驗收保真，別把名稱當成零損失保證
SLQ 新權重把大小、目標與實際執行的 EAR 列在一起，讓想保留原版行為的人，有比單一量化名稱更具體的比較依據。
但最後仍應用自己的工作確認結果，再選能容納、品質可接受的版本。分布接近是一項證據，能否完成工作則是下一項。
想持續追蹤開放權重、壓縮方法與本機部署的評測條件，可免費訂閱 AI 郵報，並在下載前核對最新版模型卡。
