Ingot FP8量化競賽：Qwen 27B壓縮版「比官方好」，究竟比較了什麼？
Ingot 以公開競賽壓縮 Qwen3.8-27B，社群稱首批 FP8 模型勝過官方量化。本文解釋量化、分布與內部訊號保真度、公開模型和獎勵機制，區分更接近原模型、程式基準較高與實際部署較好。
Ingot 想解決的問題，是把模型壓得更小之後，如何盡可能保留原來的行為。因為省下記憶體只是第一步，若重要答案跟著改變，使用者仍可能付出檢查與重做的成本。
10 月 21 日，Bittensor 社群介紹首批成果，稱 Ingot-I 把 Qwen 27B 壓成 FP8，效果超過官方量化版本。FP8 是用八位元浮點數儲存部分權重的方法，目的是減少資料占用。
這個消息不代表一週訓練出比阿里巴巴更強的新基礎模型。官方競賽規則固定 Qwen3.8-27B 作為老師，讓參賽者競爭誰的壓縮副本更接近它。
規則比較下一個 Token 的機率分布與內部訊號偏移，再公開勝出模型。Token 是模型處理文字的單位，這套指標關心的是壓縮後改變多少，不等於每個實際工作都一定更好。
對已有部署與評測環境的團隊，我認為公開候選值得比較。若只看到社群標題就換模型，還缺少自己的任務、硬體與使用方式，無法知道是否得到想要的改善。
要看懂這場競賽，得先知道它壓縮了什麼，又刻意保留了什麼。
Ingot 是什麼？把模型量化變成公開競賽
它固定老師模型與提交規格，讓不同參賽者比較壓縮後的保真度。保真度可以理解成副本與原本模型的接近程度，而不是另外發明一套與原模型無關的答題能力。
這個計畫屬於 Bittensor 的第九十七號子網路。子網路是在共同網路裡執行特定任務的機制，這裡把提出壓縮模型的參與者稱為礦工，把檢查及比較副本的角色稱為驗證者。
對一般模型使用者，不必先參與這套網路才能取得成果。勝出模型會公開到 Hugging Face，使用者可以把它當作另一份待測的模型檔案，與既有版本比較，而不必參與提交或代幣交易。
老師使用 BF16，也就是另一種較高精度的浮點數格式。參賽副本保持相同架構，在指定部分採 FP8，所以主要問題是如何減少數值表示需要的空間，又不讓計算結果偏離太多。
相同架構，讓壓縮方法有共同起點
規則要求提交檔案保留既定的權重名稱與形狀，不能任意增添新的權重組件。這讓比較更接近同一個模型的不同壓縮副本，避免有人換一個規模更大的架構，卻仍用相同名義競爭。
不過參賽者不只被允許直接轉換數值。官方規則也容許自行量化、微調或蒸餾，只要提交結果符合規格，因此勝出模型的改進方法，仍需要看作者實際公開的做法，不能一律稱為單純格式轉換。
這場競賽持續選出新的勝出者，名稱依序增加。Ingot-I 是首批版本，10 月 22 日查詢官方頁面時已可見後續版本，所以不能把一則介紹首代的貼文當成現行最新模型公告。
固定同一個老師方便比較，但保留哪些數值格式仍會影響部署大小。
FP8不等於整個27B模型只剩27GB
八位元只是部分權重的儲存格式，其他權重、快取與執行記憶體仍須另算。把參數數量直接乘上一個位元組，最多只能當非常粗略的想像，不能拿來保證顯卡是否放得下。
權重是訓練後保存的核心參數，量化主要減少這些參數的數值表示。但模型在執行時還要處理輸入、保存對話相關狀態和準備運算空間，所以檔案大小與執行時記憶體是不同數字。
官方規則也沒有要求每個張量都轉成 FP8。張量可以先理解成模型裡的一組數值表，其中某些部分保留 BF16 等格式，讓模型載入和計算符合現有執行工具的要求。
例如，嵌入層和最後輸出層就有各自規定。嵌入層把輸入單位轉成模型能計算的表示，輸出層則把內部結果轉成下一個 Token 的分數，這些位置不能單憑「全模型是 FP8」概括。
競賽的大小上限，不是完整設備需求
目前文字模型的計數上限是約 294.68 億位元組，規則另把視覺與特定預測組件排除在這個文字大小計數之外。它限制的是提交比較的一部分，不是整個下載包與執行環境的總容量。
因此，看到這個上限也不能直接說三十二 GB 顯卡一定能執行所有情境。輸入很長、同時處理多份工作，或執行工具採不同後端時，額外需求都可能改變，還是要量實際配置。
這不會抹去量化的價值。若相同任務能用更小的權重完成，使用者就有機會降低設備門檻或留下更多空間，但改善應透過相同輸入與執行設定確認，才知道是不是自己需要的效果。
大小符合規則後，副本能不能勝出，還要看兩種誤差。
KL與內部訊號距離，如何決定誰勝出
競賽同時比較下一個 Token 的機率分布與隱藏狀態，避免只在一項誤差上占優。隱藏狀態是模型中間計算產生的表示，能提供答案表面之外的另一個比較角度。
官方流程先讓老師產生答案，再讓現任勝出副本與挑戰者讀取完全相同的提示和答案。評分只計答案部分，這樣兩端面對相同內容，不會因為各自生成不同文字，而讓比較起點跟著改變。
提示的抽樣也有規則。官方從指定公開資料集的各領域抽取提示，在領域內盡量平衡可用語言，再以提交承諾對應的區塊雜湊作種子，讓驗證者能重做相同抽樣，不是每人自行挑選有利題目。
這種抽樣讓不同領域進入測量，但是否代表自己的工作，仍取決於資料內容。若團隊主要處理繁體中文文件或特殊工具格式，公開多語言抽樣只是起點，還需要補上自己的代表性輸入。
第一項指標是 KL 散度，用來比較老師與副本對下一個 Token 的機率分布。越小代表這份測試裡的選擇機率越接近，不能直接把數值叫成答題正確率。
例如，兩個副本最後都選出同一個答案，對其他候選的機率卻可能不同。只看最後文字會把它們當成相同，分布比較則能量到這種差異，但差異是否影響後續多輪生成，仍需要接著測。
第二項指標比較指定層的隱藏狀態距離，再依老師訊號的長度作相對化。這項也以越小越好，但它與輸出機率的計算不同，因此兩者可以互相補充，並不是同一個分數換個名字。
以下把兩項評分與常見任務結果分開，避免把它們排成同一種成績。
| 觀察項目 | 較好的結果代表什麼 | 沒有直接回答什麼 |
|---|---|---|
| 輸出分布的 KL | 在指定資料上更接近老師 | 每題都答對 |
| 內部訊號相對距離 | 指定層的表示偏移較小 | 所有內部計算完全相同 |
| 任務成功率 | 指定工作通過較多次 | 所有工作都較好 |
表格顯示，保真度和實際能力可以一起看，但不能互相替代。某個副本更常做出老師的選擇，並不代表那些選擇在所有題目上都是正確答案。
挑戰者要同時跨過兩個門檻
依 10 月 22 日讀取的規則，挑戰者必須在同一輪比較中，把 KL 至少降低現任分數的 1.5%，並把距離至少降低 0.84%。兩項都要達標，不能用一項大幅進步抵掉另一項退步。
這些門檻的分母是現任模型的誤差，不是任務分數。例如把某個誤差從一降到零點九八五，是降低百分之一點五，並不代表答題能力提高一點五個百分點，兩者單位不同。
規則把兩個門檻綁在同一輪評估，還能避免拿今天的挑戰者對照昨天另一批資料的現任分數。因為抽到的提示可能改變難度，兩端必須共享同一批內容，結果才有直接比較的意義。
老師重讀自己的答案也有噪音底線，官方會保留在每輪評分中。這提醒我們，相同模型在不同執行批次仍可能有些數值差異，因此微小改善要連同測量方式解讀。
這套規則挑的是保真度，接下來要分清楚它和任務基準的關係。
比官方量化好，不能直接翻成所有任務更好
壓縮模型更貼近老師，與在某組程式題分數更高，屬於不同結論。若沒有把比較對象、資料集和分數定義寫清楚，「比官方好」很容易讓讀者以為已經全面超過原始模型。
這次社群貼文比較的是量化成果，並不是從零訓練的新模型。原始 BF16 老師、起始 FP8 副本、某一代勝出副本，都是不同對象，因此文章和測試報告應使用完整名稱。
Ingot-I 模型卡說明，這是勝出模型的公開鏡像，權重逐位元與提交者上傳的一致。卡片本身沒有完整展開所有任務基準，所以也不能替它補上一份沒有核到的能力排行榜。
即使某項程式基準較高，也要先看用什麼工具流程、多少次嘗試和哪些版本。量化後的細微機率改變可能影響生成路徑，某份資料上的提升不能直接外推到中文問答、長文件或工具操作。
這次社群貼出的比較圖，實際列的是後續 IV、V 版本，不是 Ingot-I。圖中 V 的 Terminal-Bench 2.1 為 60.7%，高於 Qwen FP8 的 52.8%，但 SWE-bench Multilingual 是 69.0%，低於後者的 73.0%，兩個方向同時存在。
這張圖屬相關方分享，本文沒有獨立重跑其中基準。它至少具體顯示，即使只看同一張自報圖，也不支持「所有程式任務都超越官方量化」的讀法，更不能把 V 的數字移到 I 版本旁邊。
另一方面，對老師更忠實仍是合理目標。若團隊原本已選定老師的行為，想用較小副本維持相近表現，分布和內部訊號比較就有價值，不必硬把它包裝成所有用途都更聰明。
實際導入時，可以把老師、起始副本與候選一起放進自己的評測。先固定提示與生成設定，再比較答案完整性、工具格式、失敗情況和執行成本，才知道誤差改善是否對工作有幫助。
延伸閱讀：Tess-4.5 本機模型開放權重：與 Qwen 並列總分，較少輸出能省多少時間？
因此，公開模型的價值，在於其他人能帶著自己的題目重測。
公開模型與動態榜單：下載前如何對版本
Ingot-I 是首批勝出副本，官網會持續選出新版本，文章名稱不能代替版本核對。若今天下載到另一代模型，就不應把早期貼文圖片裡的數字直接貼到新模型旁邊。
最基本的紀錄是模型儲存庫、版本識別與執行設定。同一個名稱的檔案仍可能更新，因此對需要比較結果的團隊，固定下載版本會比只留下「用了最新的」更容易重做測試。
模型卡也保留提交來源，讓使用者知道鏡像不是另一份重新訓練的副本。這能幫助檔案追溯，但提交來源本身並不等於第三方能力認證，任務結果仍需要各自驗證。
官方規則包含重複模型檢查，目的在於避免直接重新上傳既有成果冒充新工作。它比較量化誤差的指紋，而不只檔名，因此換個名稱也不會自動成為獨立改進。
但查重和品質評估仍是兩件事。通過查重只表示沒有落入該規則的重複判定，接下來還要打敗現任副本的兩項誤差門檻，不能把「被接受提交」寫成「已經勝出」。
授權也需要跟檔案一起保存。10 月 22 日讀取的 Ingot-I 儲存庫含 Apache 2.0 授權檔，原始 Qwen 模型卡也列 Apache 2.0；使用者仍應保留對應版本的聲明和第三方依賴規範。
版本與檔案確認後，還要理解什麼誘因讓參賽者持續改進。
獎勵機制與使用選擇：讀者不需要先變成礦工
競賽獎勵提交者持續降低誤差，模型使用者則可獨立下載測試。兩種角色的任務不同，閱讀模型成果的人不需要把部署選擇變成代幣交易決策。
目前規則讓最新五個勝出者各取得礦工發放份額的兩成，最長五天，或在更新的勝出者取代名額後結束。這是一套鼓勵持續改進的分配方式，並不是任何參與者固定能得到的收益。
對模型使用者，更重要的是它是否持續產生可下載、可比較的副本。若公開版本只增加名稱、卻沒有自己的任務改善，使用者就不必因為榜單換代而每次都更換系統。
我會先保留現有模型，用一組能代表日常工作的題目比較候選。若輸出相近、記憶體或速度更符合設備需求，再考慮切換；若關鍵任務退步，就算競賽保真度較好，也不適合直接替換。
延伸閱讀：RTX 3090 跑 Qwen3.8-27B 達 381 tok/s？HyperQwen 的 4.6 倍適用條件
最後的選擇應回到自己的硬體、任務與版本測試，而不是把勝出頭銜當成部署保證。
Ingot 常見問題
Ingot 是新的基礎模型嗎？
這個計畫固定 Qwen3.8-27B 作老師，競爭的是符合規格的壓縮副本，不能直接說從零建立一個更大的新模型。
FP8 模型一定能放進32GB顯卡嗎？
不能只看格式判斷。部分權重保留其他精度，執行時還有快取和運算需求，應以實際配置測試。
KL 較低就代表答案比較正確嗎？
KL 較低代表在指定測試上更接近老師的機率分布，正確率仍需用有答案或有驗收條件的任務量測。
把公開副本放進自己的測試，才知道是否值得換
Ingot 提供的是持續比較量化保真度的機制，讓較小模型有公開改進的路徑。它適合已有部署與評測環境的人，拿來檢查能否以較少資源保留需要的行為。
先固定模型版本、題目與執行設定，再比較可用結果，會比直接相信「比官方好」更有幫助。想追蹤模型量化、開放權重與部署工具，可以免費訂閱 AI 郵報。
