Tess-4.5 本機模型開放權重:與 Qwen 並列總分,較少輸出能省多少時間?
Tess-4.5 是以 Qwen3.8-27B 微調的工程模型,官方測試並列總分、使用較少 Token。本文解讀 Pass@1、Pass@3、推理輸出與草稿解碼的差異,說明 4090、Mac 本機部署的測試條件和限制。
本機模型回答越長,不一定越有幫助。Tess-4.5 受到關注,原因之一就是作者希望讓模型完成工程工作時,少產生一些不必要的推理與文字。
它是以 Qwen3.8-27B 為基礎微調的開放權重模型。微調是讓既有模型再針對特定資料與目標學習,因此可以改變任務習慣,但不代表所有能力都全面超越原版。
本次官方模型卡公布,工程測試的總分與基礎模型相同,而首試產生的 Token 合計少約 25%。Token 是模型處理與產生文字的小片段,這份統計包含推理過程與最後答案。
如果能用較少文字完成相同工作,本機設備就可能少算一些步驟,也較不容易讓長對話被自己的思考內容填滿。但這仍是指定題組的結果,無法保證所有任務都節省同樣比例。
因此,這次更新適合想在自己的電腦執行英文工程代理的人關注。需要中文寫作、一般聊天或全面能力保證的讀者,應另外測試,不能把工程題組成績當成通用認證。
要看懂它的優點,先分清模型的定位、測試分數,以及加速方法各自代表什麼。
Tess-4.5 是什麼?為何把重點放在英文工程工作?
Tess-4.5 以程式、終端機與工具操作為主要用途。它希望模型能依照工作環境讀取檔案、選擇實際提供的工具,並完成較具體的工程任務。
這個定位與一般聊天不同,因為工程代理的答案不只是一段文字。它可能要先確認目錄、查看錯誤,再透過工具執行操作,所以模型是否理解環境與工具定義,會直接影響工作能否推進。
依 作者官方模型卡,模型以 Qwen3.8-27B 為基礎,採 Apache 2.0 授權,並提供原始精度權重與適合本機執行的版本。不同格式對資源與工具的需求,仍要分開確認。
27B 代表約 270 億參數,參數是模型學習後保留的數值。這個數字能幫助理解規模,但實際需要多少記憶體,還要看壓縮方式、對話長度與執行環境。
有視覺能力,為何仍不能直接當成通用多模態產品?
模型卡列有從基礎模型繼承的視覺能力,但作者也明確說明,這次重點是英文軟體工程與代理工作。一般聊天與創作能力主要來自原模型,沒有被列成這次的主要優化方向。
因此,能接收圖片與能穩定完成某種看圖工作,仍要分別測試。例如讀程式截圖、辨認介面與解析中文文件,對模型的要求並不相同,無法由一個功能標籤全部推定。
對準備使用的人來說,較有效的起點是先挑已有標準答案的工程工作。因為任務範圍接近官方定位,才比較容易知道微調是否帶來可用改善。
若想理解它與原模型的關係,可以先對照基礎模型的定位,再看微調後哪些習慣被改變。
延伸閱讀:Qwen3.8-27B 開放權重:27B 多模態模型、百萬 Token 與兩種版本差異一次看

133/150 代表什麼?第一次答對與三次內答對要分開
官方公布的 133/150,是在最多三次嘗試中,只要有一次通過就算成功的結果。這個指標稱為 Pass@3,用來觀察模型在允許重試時,能處理多少題目。
第一次嘗試就通過的結果是 128/150,稱為 Pass@1。這兩個數字要一起看,因為允許重試可以找出模型潛力,但實際服務若需要多做幾次,時間與成本也會增加。
同一份官方測試裡,Tess-4.5 與 Qwen3.8-27B 的兩種總分都相同。因此最準確的重點是並列總分、用較少文字完成,而非整體工程能力已經全面超過原模型。
某個小分類多一題,可以說明顯領先嗎?
官方小分類中,有些項目略高,有些略低。例如終端機工作分類多通過一題,但另一個代理分類則少一題,這些差距應放回整體測試條件解讀。
作者註明,當生成帶有隨機性,單次執行可能讓每組題目變動一兩題。因此,這種幅度較適合視為接近,而不能把其中一題拿出來寫成穩定壓倒性的優勢。
測試的思考預算也有影響。模型若可以花更多文字推理,可能改變通過率,所以比較時應保留推理設定,不能拿不同預算下的分數直接相減。
這些限制沒有抹去測試的價值,反而讓讀者知道該看哪個訊號。當總分接近時,文字量、重試次數與完成時間,就成為值得進一步比較的面向。
少 25% Token 省的是什麼?推理、答案與重試要用同一分母
官方的 25% 節省,來自每題第一次嘗試產生的內容合計。Tess-4.5 約為 26.2 萬個 Token,基礎模型約 34.9 萬,統計包含推理過程與答案。
如果把重試也算進去,節省比例約為 20%。兩個數字可以同時成立,因為計算範圍不同,所以引用時要把分母講清楚,不能把較大的比例套在所有使用方式。
作者在 X 發布時提到的推理文字比例,與本次模型卡的整體完成文字統計也不是同一口徑。讀者若看到不同數字,應先找測量項目與版本,避免以為它們在回答完全相同的問題。
對本機使用者,較少文字有哪些實際意義?
每產生一段文字都需要運算,因此較少文字有機會縮短總生成時間。但縮短多少,還會受到每步運算速度與其他等待影響,無法把文字減少比例直接當成時間減少比例。
較少推理也會減少對話內占用的空間。當代理需要保留前面讀過的檔案與工具結果,節省自己的思考文字,可能讓較長的工作更容易維持完整上下文。
但短也可能有代價,如果模型省略必要檢查,表面上很快完成,最後卻留下錯誤,就沒有真正省下工作。因此應把通過率放在文字量旁邊看,不能只獎勵最短答案。
對工程團隊而言,可以把常見修錯、資料擷取與指令操作分開比較。因為官方題組中的節省幅度也因分類不同,自己產品的工作組合會改變最終結果。
4090 每秒 96 Token 怎麼來?草稿解碼與模型本身要分開
官方的每秒約 96 Token,來自指定的 RTX 4090 配置與草稿解碼。草稿解碼會先提出多個可能的後續片段,再交給主要模型檢查,希望減少逐步等待。
這次模型提供多片段預測的草稿元件,簡稱 MTP。讀者可以把它理解成先猜幾步、再驗證,能否加速則取決於草稿是否容易被接受,以及額外驗證的成本。
官方用同一種壓縮版本比較程式生成,4090 從每秒約 49 提高到約 96;M4 Max 則從約 24 提高到約 38。這些都是作者測試結果,本篇沒有在相同硬體重現。
為何不能只拿這兩台機器的數字比誰比較快?
因為兩者的上下文長度與快取配置不同。官方的 4090 測試使用較長上下文與特定快取壓縮,M4 Max 則採另一個上下文條件,所以數字應作為各自配置的參考。
壓縮也會影響可用記憶體與品質。GGUF 是本機模型常見的封裝格式,裡面仍有不同精度版本;壓得越小,通常越容易放進設備,但是否影響自己的任務仍要測試。
同一台機器也可能因工作內容而有不同加速幅度。官方把程式、指令與一般文字分開列出,就是因為草稿的接受情況會改變,不能把某一項最好結果套到所有輸出。
選擇本機配置時,應先確認檔案格式、草稿元件與執行工具相容,再量測實際任務。只下載權重,沒有啟用對應功能,通常無法假定會得到相同數字。
為何官方測試仍需要自己的題組?
工程工作很依賴程式庫與檔案背景,公開題組不會完整重現每個團隊的專案。若模型只在熟悉格式上表現好,換到自己的檔案命名與測試流程,就可能出現不同結果。
可以先用已經解決的問題回放,保留當時的程式、錯誤與預期修正。因為答案已知,就比較能分辨模型是否理解原因,還是只改到測試暫時通過。
也要確認修正有沒有改到無關功能。代理完成工作後留下的差異,與執行檢查的結果應一起看,才不會把少寫幾段推理,誤認成少做了必要的驗證。
本機模型也需要控制對話長度。較長的歷史內容雖然能提供更多背景,卻會占用記憶體與運算,因此實作時應觀察代理留下哪些工具輸出,以及是否重複讀取同樣資料。
較少產生推理文字,只改善其中一部分。如果工具每次都回傳大量無關內容,仍可能很快用滿空間,所以模型與工具的資料安排要一起看,才能維持長任務的效率。
多輪工作為何還要保留推理設定?
作者建議在多輪代理中保留推理資訊,因為模型可能需要接續前面的工作線索。若執行工具擅自刪掉這部分資料,測到的行為就可能與官方建議配置不同。
因此,比較時要一起記錄對話格式與推理設定。模型檔相同,若工具傳入的歷史內容不同,仍可能改變後續選擇,這也是本機代理不能只看下載檔名的原因。
工具代理要怎麼用?先讓模型知道自己在哪裡、能做什麼
作者建議在系統設定裡提供工作目錄,並傳入實際工具定義。這是因為模型即使懂得寫指令,也需要知道目前檔案位置,以及系統允許它呼叫哪些工具。
例如要查 Python 版本,就應讓代理看到可以執行指令的工具。如果沒有提供工具,模型應直接回答可回答的問題,或說明限制,而不是捏造一個系統裡不存在的操作。
官方表示,在 182 份宣告沒有工具的受評回應中,沒有出現呼叫未提供工具的情況。這是指定樣本的觀察結果,不能延伸成所有工具操作都正確,或任何環境都不會犯錯。
為何會選工具,仍需要執行環境保護?
模型可能選對工具,卻傳入錯誤參數。例如指令工具存在,也不代表刪除檔案的路徑就一定正確,所以工具選擇與操作結果應分開驗證。
初次試用可以先給測試副本與有限工具,讓任務結果可以回復。當代理要修改程式時,保留差異與檢查結果,會比只看它是否自稱完成更有依據。
這些安排也有助於比較模型。若前後測試給的工具與檔案不同,很難知道成績改變來自模型還是環境,因此固定工作目錄與工具定義,本身就是公平比較的一部分。
對追求資料留在本機的團隊,還應確認工具是否另外呼叫外部服務。模型在電腦內運作,與整條工作流程完全不連網,是兩個需要分別確認的條件。
本機設備的選擇也會受到記憶體容量影響,可以把硬體文章當成理解配置的起點,但仍要回到本模型的實際需求。
延伸閱讀:NVIDIA RTX Spark 是什麼?ProArt P16 用 128GB 統一記憶體,把大模型算力搬回本機
Tess-4.5 常見問題 FAQ
Tess-4.5 已經全面勝過 Qwen 嗎?
官方同一份 BenchLocal 測試裡,兩者總分相同。這次比較的焦點是文字量與部分工作習慣,不能寫成所有能力全面領先。
只要有 4090 就能跑出相同速度嗎?
還要符合壓縮版本、草稿元件、執行工具與上下文等條件。每台電腦的配置與負載不同,應以自己的量測為準。
可以直接用來做中文文章嗎?
作者把英文工程列為主要目標。中文寫作應另設題目檢查可讀性與事實,不能由工程測試推論品質。
想做本機英文工程代理,可以先比較每份通過工作的成本
已有合適設備、願意保留題組與工具紀錄的開發者,適合把這次模型納入測試。若需求是即開即用、中文品質與完整產品支援,則應先確認工具整合能否滿足日常工作。
同分而較少文字,提供了一個比單純追求長篇思考更實際的方向。但是否省時間,仍要把重試與修正都算進去。歡迎免費訂閱 AI 郵報,持續追蹤本機模型與開放權重更新。
資料來源:作者模型卡與測試註解、官方 GGUF 與草稿元件、作者發布貼文。