dspy-wsp 讓大模型直接改小模型權重:不跑梯度訓練,效果與費用怎麼看?
dspy-wsp 原型讓大型模型直接編修小模型權重。整理 Cmpnd 五模型評測、二十五次前向測試、資料隔離、API 費用與硬體條件,分清預設與嚴格規則的效果,判斷是否值得自行重現。
dspy-wsp 讓大型模型直接讀取另一個模型的參數,提出少量修改,再用測試決定是否保留。這次調整的是模型裡的數值,和只把提示寫得更詳細不同。
Cmpnd 於 2026 年 11 月 13 日推出這個 DSPy 原型最佳化器,延伸近期的權重空間編程研究,讓開發者把直接編修權重接進既有任務與評分。
權重是模型運算時使用的大量數值。一般訓練會根據誤差反覆計算調整方向,這個原型則讓另一個模型讀取資料、寫程式修改,再測試推論結果。
公司在五種小型決策模型看到改善,但較大的改進與編修者能看到多少內部資訊有關。採用更嚴格的存取規則時,其中一組增益明顯縮小。
我會把它用在可以獨立評分的小模型實驗,先比較修改前後的結果與完整成本。若期待花幾美元就補上模型完全不具備的能力,官方測試並沒有提供這種保證。
要看懂這項原型能做什麼,先分清它改動模型的哪一層,以及每次測試如何限制編修者。
dspy-wsp 改的是模型數值,任務和評分仍由開發者定義
WeightSpace 把直接改權重包成 DSPy 最佳化器,目標仍是改善一段明確任務。
開發者先提供學生模型、任務範例和評分方法,再讓另一個較大的模型擔任編修者。學生模型負責原本的分類或決策,編修者則檢查其中的數值並寫程式提出修改;每次修改好壞,仍要透過同一套任務評分比較。
Cmpnd 的原型公告把這個過程接進 DSPy。DSPy 原本用程式描述模型工作與最佳化流程,這次增加 WeightSpace,讓開發者可以在相近的任務介面下比較提示調整與直接編修參數,而不是只看展示問答。
這種方式省略了通常訓練中的梯度計算。梯度用來描述數值往哪個方向調整可能減少誤差;直接編修則讓大型模型提出修改程式,再觀察執行結果。因此「沒有梯度訓練」只說明調整方法,任務資料、推論運算與最後評分都還存在。
使用者也不能任意拿一個封閉模型當學生。原型需要能讀取、修改與重建模型參數的環境,學生的權重和載入方式必須可用。若手上只有一個聊天 API,也就是供程式呼叫模型的介面,便無法照這套方法直接修改供應商內部的模型數值。
任務固定之後,才有辦法用有限次測試比較每個修改是否值得保留。

二十五次前向測試,是探索額度而非二十五個訓練樣本
每次執行可限制模型測試次數,編修者在預算內觀察、提出修改並檢查效果。
官方示例把探索預算設為二十五次前向測試。前向測試指把輸入送進模型、算出結果的過程,這個額度限制編修者能用幾輪實際結果檢查想法;一輪裡仍可能評估多個練習項目,不能把二十五次改寫成只需要二十五筆資料。
編修者在額度內可以檢查權重、計算統計量、提出修改,再以執行結果判斷下一步。大型模型讀取程式輸出的次數與內容,會影響 API 使用量;即使學生模型沒有傳統訓練迴圈,編修者的推論仍需要付費,也需要等待本機測試完成。
這讓實驗預算至少有兩個不同的數字:學生接受多少次測試,以及編修者讀寫多少內容。前者能控制探索機會,後者才與雲端帳單直接相關。兩次實驗同樣限制二十五輪,若使用不同編修模型或輸出不同長度的診斷資料,費用仍可能相差很多。
對準備試用的團隊,應先固定任務、學生版本與單次預算,再記錄實際時間與帳單。若一開始同時更換學生、編修者和評分資料,即使分數上升,也難以知道增益主要來自權重修改,還是來自改了整個實驗條件。
測試次數有界線,資料能看多少則決定最後分數是否可信。
練習、挑選與最後測試,必須分開看
原型保留練習與隱藏評分資料,最後再比較原始和編修後的模型。
練習資料讓編修者理解任務,保留資料則用來檢查修改是否只對已看過的範例有效。依官方儲存庫的流程,其中一部分資料會保留作隱藏評分,編修者可以取得彙總成績,不能直接讀到那批題目;最後還有另外的驗證資料比較原始與修改版本。
這個設計的目的,是避免編修者靠記住題目換到高分。即使沒有逐題讀到隱藏資料,反覆根據同一份彙總分數挑修改,也可能逐漸偏向那份資料;因此最後比較用的資料要維持獨立,並對兩個版本使用相同輸入與隨機條件。
官方 Typed Decisions 評測含四百個保留案例,這些案例合計產生兩千個具型別的決策。案例數和決策數是不同分母,同一案例可能需要多個判斷。若把兩千個決策寫成兩千個互相獨立的測試案例,會讓測試規模看起來比實際更大。
同樣地,官方提供的成對比較與誤差範圍,描述的是這套資料和設定下的差異。本刊查核了原始說明,沒有重新執行整套測試;這些結果可以用來挑選重現方向,還不足以替讀者自己的中文分類或業務決策保證相同改善。
分母清楚後,官方的改善幅度才有可解讀的用途。
小模型有改善,較大模型與嚴格規則未必相同
官方五個決策模型都改善,但不同模型、編修者與可存取範圍的差距很大。
在官方預設條件下,d1-omni 600M 的成績由百分之五十點九升到百分之六十六點九,約增加十六個百分點。加入另一個名為 ReAnchor 的方法後達到百分之六十九點一。這些數字屬於同一項決策評測,不能直接解讀為所有任務的整體智力提升。
ReAnchor 調整的是決策門檻、分界與選項權重,沒有改動模型內部參數。它可以和 WeightSpace 一起使用,但兩者各自的改善幅度不適合直接相加;同一批錯誤可能已被其中一種方法修正,第二種方法能補上的空間就會縮小。
較大的 Clef-Flash 9B 在相同官方比較中,由百分之六十八點八升到百分之七十點七,增加一點九個百分點。它的原始成績較高,提升卻較小。模型大小、起點與可修改位置都會影響實驗,不能因為小模型某組增益突出,就預期所有學生都能增加十多個百分點。
更關鍵的是存取規則。預設版本允許編修者在本機程式裡重新計算決策輸出;限制成較嚴格、只使用前向測試的方式時,其中一組 d1 的改善降為約二點八個百分點,與 ReAnchor 合用也沒有再超過單用 ReAnchor 的效果。
編修者的選擇也會改變方向。官方比較中,同一個 d1-2B 學生使用不同大型模型,出現一組增加十三點四個百分點、另一組降低零點六個百分點的差異。Gemma 小模型的數學測試也未顯示新能力被明顯補上,不能把修改權重等同於學會原本完全不會的工作。
看到分數差異之後,還要把每次探索花費與本機執行條件放回同一個實驗。
本機學生模型,仍會把讀到的內容送給雲端編修者
學生模型可在自己的電腦推論,編修期間的程式輸出仍會交給大型模型供應商。
dspy-wsp 的官方使用說明要求 Python 3.11 以上與 DSPy 3.5 等環境,學生可透過 Mac 的 MLX 或 Linux 的 PyTorch 執行。部分模型目前只支援 MLX;文件對二十億參數級模型提出約六 GB 記憶體需求,也不代表所有學生都能套用同一個硬體門檻。
本機執行的好處是學生推論與參數修改可以留在自己的機器,但編修者需要讀到程式輸出才能做下一步。原型的預設沙箱限制本機程式的操作與網路存取,輸出的診斷內容仍會送往編修者使用的模型 API,可能包含模型數值或練習資料。
因此,企業若打算使用內部標註資料,應先確認哪些內容會出現在這些輸出,以及外部模型供應商是否適合處理它。單看「學生在本機」無法判斷整個流程的資料位置;沙箱保護執行環境,和限制送給外部模型的資訊,是需要分開處理的問題。
費用也要依當前文件閱讀。截至 2026 年 11 月 16 日查核,官方各決策模型實驗約耗時六十八至一百六十七分鐘,編修者 API 花費約五點四二至十點七八美元。這是指定實驗的模型呼叫費,並未把自己的硬體、用電和所有後續評估成本包成完整服務價格。
資料流和成本核對後,留下的修改也必須能在相同模型上重新套用。
雜湊補丁能重建修改,不能證明修改永遠有效
原型保存變更項目和張量雜湊,讓同一份模型可以重建相同數值。
原型會留下 manifest.json 與 edit.npz 等補丁資料,記錄原始與修改張量的雜湊值。雜湊能協助辨認數值是否相同,因此補丁可以在相同底稿模型上重新建立修改,讓另一台機器比較相同的成果,而不是只看到一句「分數變好了」。
這種可重建性需要固定原始模型版本。名稱相同的模型若已更新權重,套用舊補丁就不再是同一個比較;保存檔案和版本比只記模型名稱更有用。編修後若要提供給其他團隊,也必須一併交代學生來源、修改內容與實驗條件。
雜湊一致只能回答數值是否一致,不能證明模型安全、沒有偏差,或換一批題目後仍然準確。較實用的採用順序是先保留原始版本,再以未曝光資料比較結果;如果修改後變差,程式提供可選的回退設定,但該選項並非預設就替所有使用者啟用。
授權也分成不同部分。儲存庫的程式採 MIT 授權,不會自動替學生模型的權重取得新的散布權;編修者提示與學生模型仍有各自條件。準備分享補丁或重建模型前,需要依實際使用的底稿與產物確認可使用範圍。
數值相同提供比較基準,是否值得部署仍要回到自己未曝光的任務測試。
dspy-wsp 常見問題與採用順序
這項原型適合有明確評分的小模型研究,還需要固定版本與獨立測試。
不跑梯度訓練,是否代表不用資料?
仍然需要任務範例和評分資料。原型用這些資訊決定修改有沒有幫助,只是把改動方向交給大型模型提出。缺乏可評分的目標時,拿到一份不同的權重,並不能說明它比較適合自己的工作。
每次都會比原始模型更好嗎?
官方自己的比較已包含成績下降的組合。學生模型、編修者和可讀取的內部資訊都會影響結果,因此應以同一批獨立資料驗收,並保留原始版本。API 費用低或補丁很小,都不能取代這一步比較。
適合直接用來改正式服務嗎?
我會先選容易評分、影響範圍小的分類實驗,確認資料流、硬體和重建方式,再比較收益。若原始模型本來就不具備所需能力,這個原型尚未證明能以少量編修補足;先把可重現的小型實驗做完整,比只追求一次漂亮分數更有採用價值。
先保留可重現的原模型與一組隱藏題目,再決定是否擴大編修實驗。
延伸閱讀:Hugging Face Decision Models 整合:AI 分類不用先寫一段話,機率又能信多少?、Liquid d1 決策模型登場:AI 分類郵件,為什麼不必先寫一段答案?