TNG 示範新增 MoE 專家:Rust、Haskell 能力如何合併,和 LoRA 有何差別?
TNG 以 Qwen 混合專家模型示範新增 Rust、Haskell 能力。解析專家合併、路由重訓、LoRA 對照與實際訓練限制。
團隊想替同一個程式模型加上兩種語言能力,常見做法是各自微調,再想辦法把結果合併。但兩份更新一起放回模型後,原先學到的能力可能互相影響。
TNG Technology Consulting 在 2026 年 11 月 10 日公開 Bring Your Own Expert 實驗,改從混合專家模型的結構下手,替原有模型新增可訓練的專家。
混合專家模型會透過路由機制,為輸入挑選部分參數參與運算。這份實驗保留既有權重,分別訓練 Rust 與 Haskell 的新增專家,再把它們放進同一個模型。
官方測試顯示,合併後能保留大部分單一專家的程式能力,但分數仍有落差。團隊又示範小量重新訓練路由機制,改善新專家加入後的分工。
我會把它視為有模型訓練資源的團隊可研究的替代方案。它展示的是指定基礎模型和資料集的結果,還沒有證明各種專家都能任意混搭,也不能直接取代成熟的部署測試。
這個方向能否幫到你的工作,先取決於模型如何決定該叫哪個專家,以及新增能力要動到多少原有參數。
新增專家讓領域能力有獨立位置,路由負責調用
混合專家模型透過路由分配運算,專家本身是可訓練的參數組。模型收到輸入後,由路由機制選擇部分專家參與處理,讓每次運算只使用完整模型的一部分。
這裡的專家不必然對應人類理解的專業,例如法律、醫療或某種程式語言。原始訓練會形成自己的分工,所以不能看到模型有很多專家,就推定每一個都已有清楚可命名的領域。
TNG 的原始實驗以 Qwen3.5-35B-A3B-Base 為基礎,在原有架構增加新的專家與對應路由參數。
既有權重維持凍結,新增部分才接受領域訓練。
Base 表示這裡使用的是基礎模型。它與直接面向對話使用者的完成版服務不同,訓練結果不能直接被理解成一款已完成聊天、工具與產品安全調整的新助理。
新增專家也需要合理起點。如果專家能力還很弱,路由機制就可能很少選它,導致它難以取得學習機會。若太常選它,又可能拖累原本的輸出品質。
團隊的做法,是從各層經常啟用的既有專家複製參數,也複製相應路由設定,讓新專家先接近已有能力。訓練初期短暫固定路由,再逐步讓新增部分適應目標領域。
這個設計把新增能力放到較獨立的位置,方便後續組合與管理。但專家仍透過同一套模型和路由互動,不能把它當成一份彼此完全沒有影響的外掛字典。
所以加入專家的同時,也得讓路由機制學會何時使用它。能把權重放進模型,只完成結構的一部分,是否被適當調用仍要靠測試。

先學單一領域,再測能否保住原有能力
TNG 先分別訓練 Rust 與 Haskell 專家,觀察新增能力與一般能力的變化。兩種程式語言使用 The Stack 的對應去重資料,進行領域持續預訓練。
持續預訓練是讓模型繼續從領域內容學習,這裡的目標是增強特定程式語言的表示與生成能力。它與讓模型更懂得聊天指令的後續訓練不同,結果應放在原任務範圍內解讀。
官方公布的單一領域結果中,Rust 的 pass@1 從 0.62 提升至 0.73,Haskell 則從 0.32 提升至 0.51。Pass@1 指第一次生成的解答能否通過指定測試,並不代表所有真實程式碼的正確率。
若以比例差來表示,兩者分別提升十一與十九個百分點。這樣寫能保留原始分母,避免把分數變化說成增加十一或十九%,讓讀者誤解成另一種相對成長。
一般能力方面,官方另用七項任務檢查。基礎結果約為 0.80,Rust 專家版本約 0.78,Haskell 約 0.80。它能說明指定測試下變化有限,還不能推成所有原有任務都完全沒有退步。
例如團隊若主要依賴另一種程式語言或長文件任務,就應另外保留這些測試。研究沒有涵蓋的工作,不能只因一般平均差異小,就直接宣告已保持相同品質。
訓練資源也值得一起看。官方使用一個含八張 NVIDIA B200 加速卡的節點,每個領域約訓練半天。資料準備與部署仍是另外的工作,因此它更適合有模型訓練環境的團隊研究。
新增權重相對少,能縮小需要更新的範圍,但完整基礎模型仍要參與運算。資料量、訓練時間與設備都會影響成本,不能從「只加一個專家」推定一般筆電即可完成。
評測還應保留沒有通過的程式。模型可能寫出能編譯的內容,卻沒有符合題目條件。若只看一個通過比例,就無法判斷它改進的是語法、函式使用還是解題方式。
團隊可將常見失敗類型整理成下一輪測試,但不要把已看過的答案重新放回保留資料,否則分數上升會混入資料重複的影響,降低對新工作的參考價值。
這個比較能分開辨認領域訓練的收益,以及原有任務可能付出的代價。先通過單領域測試,再談合併,才能知道問題出在訓練還是組合階段。
直接合併可留下大部分能力,路由仍有適應成本
兩份獨立訓練的專家加入同一模型後,原先的運算分配也會改變。原本只面對一份新增專家的路由,現在需要在更多候選中做選擇,合併結果自然需要重新評估。
官方直接合併兩份專家後,Rust 分數為 0.70、Haskell 為 0.50。這接近各自單獨訓練的結果,也顯示仍有差距,不能寫成兩種能力全數無損保留。
直接組合的價值,是不必先把所有領域資料混在一起重新訓練整個模型。各團隊可以先產生獨立成果,再研究如何組合,但它沒有消除後續整合與品質測試。
若模型在應該使用 Rust 專家時,把運算分配給其他專家,即使 Rust 專家本身沒有變弱,最後答案仍可能變差。這是路由協調的問題,和單一領域資料學得好不好要分開看。
TNG 因此另外使用 Rust 與 Haskell 各半的混合資料,小量重新訓練路由,維持專家權重不變。官方報告路由調整後能進一步恢復能力,說明分配機制確實影響整合結果。
這項改善需要額外訓練,不能和「直接合併、不再訓練」的結果混成一句。報告時應分別留下直接組合分數,以及加入路由訓練後的分數與用量,讀者才能衡量成本。
對有多個領域的模型團隊,我會先保存每個單領域版本,再建立組合版本測試。若合併後某類工作明顯退步,原版本能當作對照,也方便暫時保留分開服務的選擇。
測試還可以納入需要兩種知識的問題,因為實際工作不一定每次只屬於單一領域。不過這屬於進一步建議,原始 Rust、Haskell 成績無法替跨領域協作提供完整證明。
因此直接合併與小量重訓路由,是兩種要分開報告的成果。它們都具有研究價值,適用的時間與運算預算卻不相同。
和 LoRA 的比較,範圍限於這次訓練與合併方法
官方對照顯示,單領域訓練與多領域合併可能有不同贏家。LoRA 透過較少新增參數調整既有模型,也是常見的領域微調方式,不能只因這份研究採用專家,就假定它全面較差。
在相應的單領域比較中,LoRA 的 Rust 分數為 0.74,Haskell 為 0.48。新增專家則為 0.73 與 0.51,兩個領域各有較高者,差異也提醒讀者要看自己重視的工作。
合併時,官方試了將兩份 LoRA 平均與相加。平均版本的 Rust 為 0.67,Haskell 為 0.36,在這份實驗中低於直接組合新專家的結果,相加也沒有解決問題。
這個結果支持的是指定資料、基礎模型與合併方式下的比較。研究並未測遍所有 LoRA 合併演算法,也不能據此宣稱 LoRA 更新天生無法共存,或對任何任務都不適用。
兩條路的管理方式也不同。LoRA 通常調整既有運算中的低秩參數,新增專家則改變模型可選的參數組與路由,團隊要能處理結構、版本與服務端的相應設定。
TNG 表示合併後可保存為標準 Hugging Face 檢查點,而不需為這個模型另外寫一套自訂推論程式。但正式服務是否相容,仍要確認執行框架支援修改後的配置,不能只看檔案格式。
領域專家的版本紀錄也很重要。兩份專家若來自不同基礎權重、使用不同配置或詞彙處理方式,不能只因檔案名稱相近就假設可組合,應先確認結構與訓練來源相容。
版本測試也要包含回復流程。若新增專家讓原有工作退步,服務端應能切回先前已驗證的組合,再重做路由或資料調整,避免把研究版本的問題直接延伸到所有使用者。
對實際維運而言,每次組合都應保存基礎模型、專家來源與路由設定的完整對應。這樣某種語言出現退步時,團隊才能重建同一版本,而不是只知道目前用了幾個專家。
若專家越加越多,還可能影響記憶體、分工與負載平衡。單次只啟用部分專家,並不代表整體硬體與管理負擔維持不變,大規模專家庫仍是需要研究的方向。
原作者也把其他領域與完整後續訓練列為未來工作。因此這份結果較適合提供模型研究的設計參考,尚不宜改寫成可以立即購買、任意加領域的通用服務。
選型要同時比較專家管理、運算資源與合併後表現,才知道哪種方式符合需求。如果團隊只需要一個穩定領域,一份已驗證的單領域微調,可能比更複雜的組合架構容易維運。
TNG 新增 MoE 專家常見問題
MoE 每個專家原本就對應一種專業嗎?
原有分工來自模型訓練,未必能用人類領域清楚命名。這份實驗刻意用特定資料訓練新增部分,才讓它具有可辨認的領域目標。
把兩份專家放一起,就完全不需要再訓練嗎?
官方有直接組合的結果,也有額外重訓路由的結果。直接組合可保留大部分單領域能力,但仍有分數落差,是否需再訓練要看驗收標準。
一般團隊能立即把這套方法接到商用聊天服務嗎?
範例使用基礎模型與特定程式語言訓練,完整後續訓練仍待研究。若需要對話、工具和正式服務品質,還要完成那些額外流程。
適合有領域資料與訓練預算的模型團隊
當你已能衡量單一領域能力,也需要保留多份訓練成果,新增專家值得列入研究。開始前先明確定義測試、資源與回復方式,才能看出模組化設計是否真的減少整合成本。
TNG 在十一月十日公布的實驗,提供了新專家可組合的證據,也顯示組合後路由仍要適應。已有獨立領域資料的團隊,可以利用這種分開訓練、再測組合的方式,較清楚追查每一份新增能力的來源。
我會先從兩個已有足夠資料、各自能獨立驗收的領域試起。只有合併後的任務品質與服務成本都符合需求,這種模組化訓練才有實際用途。
延伸閱讀:Qwen4-Max-Preview 預覽開放:Token Plan、百萬上下文與下線日期怎麼看?
延伸閱讀:Overmind 公開小模型訓練示範:客服分類 36.7% 到 84%,如何驗證再換模型?
原始資料來源
依 TNG 原始實驗文章整理方法與測試,基礎模型為 Qwen3.5-35B-A3B-Base。
評測為原作者報告,未自行重現。資料查核日期:2026 年 11 月 13 日。