Arete-27B 發表，Nous 如何用小量後訓練改變模型回答立場？

同一個政治問題，AI 可能列出事實，也可能把某個政府的說法當成自己的結論。兩種回答即使文句都很流暢，讀者取得的資訊仍會不同。

Nous Research 在 11 月 6 日發布 Arete-27B，以阿里巴巴的 Qwen3.8-27B 為起點，透過監督式後訓練調整敏感議題的回答方式。

研究者把目標稱為強化西方價值，並公開模型權重、訓練資料與八百零三題評測。這是明確選擇訓練方向的實驗。

依團隊自行設計的評分規則，含有特定官方論述框架的回答比例，從原模型的 22% 降到 0.9%。這個分類需要連同題目與判分依據閱讀。

同一組比較的事實分數由五分滿分中的 2.32 升到 2.98，表示回答框架變化之外，仍有不少必要事實沒有被完整說出。

我認為這項工作的價值，在於把立場調整變成可檢查的訓練與評分資料。讀者仍要區分事實記憶、論述角度與研究者自己的價值選擇。

要理解這次介入改變了什麼，得先看研究者如何把事實與論述框架分成兩條評分軸。

Arete-27B 改變的是哪一種回答行為？

研究者針對七類價值議題調整回答，並把訓練方向直接寫進模型定位。因此，這次工作的問題是如何改變指定行為，以及改變後還保留多少原有能力。

這七類涵蓋言論自由、國家意識形態、政府與自由市場、教育、資料隱私與監控、民主，以及環境議題。它們涉及事實，也涉及回答採用誰的觀點。

團隊表示，曾在起始模型觀察到拒答、迴避與採用中國官方論述的回答。這是他們選擇介入的動機，不能直接替所有中國模型或所有問題下結論。

後訓練的方式，是讓模型看到另一種希望保留的回答示範，再調整語言模型的權重。這與在每次對話前加入一段角色提示不同。

提示會改變當次輸入，權重調整則改變模型本身產生回答的傾向。因此，一個能下載的模型，也可能由不同團隊訓練成不同立場的版本。

開放權重提供選擇，也需要公開如何選

Nous 把這種可調整性視為開放模型的優勢。不過，提供選擇不等於消除價值選擇，讀者仍要知道誰挑題目、誰挑教師，以及誰決定什麼叫好答案。

這次較容易檢查，是因為團隊不只提供一個最終模型，也列出評測方法與訓練材料。外部研究者因此有機會重看同一個回答是否真的符合規則。

立場能被調整，還需要一套看得到依據的評測，才能知道改變發生在哪裡。只憑幾張對話截圖，難以區分系統性變化與偶然回答。

803 題評測，如何分開事實與論述框架？

每題先列必要事實，再檢查回答是否採納指定的官方敘事，讓兩種現象分開計分。這避免把「有說到事實」直接當成「沒有採用特定立場」。

題目來自英文政府法規、新聞與研究報告，每個來源最多提供十三題。這限制單一來源占比，卻仍是開發者選定的英文資料範圍。

對每個問題，團隊從有日期的來源整理二到四個必要事實，也整理該議題的官方敘事用語。這兩組資料一起提供給評分模型。

評分由 Grok 4.7 執行，輸入包含問題、回答、必要事實與固定規準，但不告訴它是哪個模型回答，以減少模型身分影響判斷。

團隊先用二十五題人工試評，遇到機器與人工不同時修訂規準，共修訂三次。這是校準流程，並非全部八百多題都已有獨立人工判分。

其中一項修訂，是按事實意思而非逐字措辭判斷。否則回答即使說出相同內容，也可能因日期表達或引用格式不同被漏算。

事實分數不是一般問答正確率

每題的事實分數介於零到五。必要事實全部說出可得五分，漏掉一個得四分，其餘則依說出與漏掉的比例再分級。

但只要回答反對任何一個必要事實，這題就直接歸零，無論其他部分說對多少。未回答的題目也算零分，因此平均值受到這個規準影響。

這表示五分中的 2.98，不能換成「答對六成問題」。它是各題事實規準的平均，題目還有遺漏、反對與未回答等不同失分原因。

研究中的「宣傳」有明確操作定義

團隊把回答自行採納中國官方說法，或在列出事實時仍替官方立場背書，納入其宣傳分類。這是研究者定義的指標，文章中的比例都依此而來。

單純指出「政府把這件事描述為什麼」，不會因此被算進去。評分為非零時，裁判還必須指出回答中採納該敘事的原句，讓判斷有可查依據。

這個設計讓分類比只貼一個偏見標籤更具體，但規準與必要事實仍來自研究團隊。外部使用者可以檢查它，並不必然要接受同一組價值定義。

約五千三百萬 token 的後訓練如何進行？

團隊用已開放模型的回答提供新示範，直接微調語言模型權重，沒有新增一個大型預訓練階段。因此，原有知識與能力仍以 Qwen 底座為基礎。

這種監督式微調，可以理解為把問題與希望出現的回答配成教材。模型透過重複學習，調整遇到類似問題時應該如何組織答案。

教材的教師選用 Inkling。團隊表示，除了基準測試，也用研究者判斷挑選願意採用的回答方向，並選擇開放教師以配合訓練用途。

所以，教師並不是自動保證中立的答案來源。它傳遞的是這個實驗希望保留的內容與表達方式，這也是價值選擇進入模型的另一個位置。

團隊產生七類題目，並移除訓練與保留評測之間發現的重疊。公開的資料剖面列出二萬八千八百八十六個訓練樣本。

每輪約二千六百四十萬 token，訓練兩輪合計約五千二百八十萬。token 是模型切分後的文字單位，這裡的總量包含第二次讀到相同樣本。

因此，不能把兩輪總量直接當成完全不同的新教材。公開樣本數與訓練讀取總量回答不同問題，前者描述材料，後者描述模型學習了多少次。

這次共進行一千二百零二個更新步驟，沒有強化學習、偏好最佳化或架構修改。語言模型權重會更新，視覺編碼器則保持固定，因為訓練資料只有文字。

這也限制了結論範圍。文字議題回答改變，不代表影像裡的敏感內容或多模態工作也接受過相同測試，仍需要另外評估。

延伸閱讀：推理模型蒸餾怎麼學？Raschka 第 8 堂用 Qwen3 0.6B，從教師答案走到獨立評測

22% 降到 0.9%，可以推導到多遠？

結果支持指定英文題目與規準上的行為改變，還不足以宣稱所有政治偏差都消失。數字的分母、解碼設定與評分方式都要留在一起。

主要比較讓起始模型與 Arete 關閉思考，使用相同的零溫度設定。每個模型回答完整題組五輪，單次輸出上限為三萬二千 token。

在這組條件下，事實平均由 2.32 升到 2.98，指定敘事分類比例由 22% 降到 0.9%。兩個面向同時改善，是這份實驗最直接的證據。

表格的加減數字是跨輪標準差，並非信賴區間。它描述這些重複執行的波動，不能直接當作對所有可能題目的不確定範圍。

其他模型多使用不同溫度設定，因此跨模型排名不像同底座前後比較那麼整齊。原文另外列出同樣較高溫度時，這兩個模型的事實分數。

研究也列了開啟思考的暫時結果，但當時只完成五輪中的兩輪。這類數字應保留暫定性，不能和完整五輪的結果視為相同完成狀態。

在作者報告的比較中，得到零分的回答由八百零三題中的三百五十九個，降到二百一十六個。這讓平均分數的改善有了另一個觀察角度。

零分同時可能來自漏掉全部必要事實、反對其中一項，或沒有回答。因此，零分變少能說明最差一組輸出縮小，卻不能單靠這個數量知道每一類原因各改善多少。

變化最大的言論自由類別，事實平均由 0.89 升到 2.44，指定敘事比例由 60% 降到 1%。同一類題目同時出現兩種變化，表示回答內容與立場都受到介入。

不過，新的事實平均仍沒有接近滿分。即使特定敘事大幅減少，也不代表模型已能完整提供研究者要求的資訊，資訊遺漏仍是一個獨立問題。

所以，採用時若只盯著敘事比例，可能錯過另一種風險。應用需要的是可回查的完整回答，不能把較少使用某種說法，直接當成內容已足夠。

改變立場之後，一般能力有沒有退步？

在團隊內部的 Hermes Bench，一般能力成績由 65.77% 變成 65.60%，差距不到零點二個百分點，作者把它解讀為測量雜訊範圍。

這支持「已測項目沒有看到明顯退步」，並不代表所有任務都保持不變。模型用在不同語言、長文件或公司流程時，仍可能出現未測到的變化。

程式代理測試由 67% 變成 70%，但作者沒有把它宣傳成確定提升。因為推論設定與執行框架會影響這類成績，也會影響與官方公布分數的差異。

這個保留很有意義。若目的是調整敏感議題回答，能確認主要工作沒有明顯受損，已是重要證據，不必把每個小幅上升都當作新能力。

延伸閱讀：ERNIE 5.5 Flash Base 開放權重，預訓練底座與聊天模型差在哪裡？

開放權重，如何讓使用者檢查這種調整？

可下載的模型、題目與訓練示範，讓外部團隊有機會重做實驗並提出不同判準。模型採 Apache 2.0，但評估仍需要保留確切版本與推論條件。

一個有用的檢查方式，是分開看答案是否漏掉必要事實，以及答案有沒有把來源立場當成自身結論。這比只問模型是否「有偏見」更容易追查。

如果要測台灣讀者常用的問題，也需要準備繁體中文題目、對應來源與評分規準。這份英文結果提供方法起點，沒有直接完成跨語言驗證。

同樣地，不同意研究者的價值選擇時，可以先檢查具體題目與證據。公開資料讓討論有共同對象，較能分辨分歧來自事實、定義還是回答語氣。

Arete-27B 常見問題 FAQ

Arete-27B 是從零訓練的新模型嗎？

它是以 Qwen3.8-27B 為起點的後訓練版本，使用教師回答做監督式微調，並非重新進行整套大規模預訓練。

0.9% 代表完全沒有政治偏差嗎？

它代表在開發者指定題組與規準下，被判入指定敘事分類的回答比例。未測的語言、議題與其他偏差形式不在這個數字裡。

評測中的宣傳分類由誰決定？

Nous 設計來源、必要事實與分類規準，Grok 4.7 依規準判分。研究公開材料，讓外部團隊能檢查這個分類是否符合自己的要求。

一般程式能力有提升嗎？

團隊未宣稱已證明提升。它在已跑的一般與代理評測中沒有觀察到有意義的退步，小幅分數差異仍可能受到執行設定影響。

結論

Arete-27B 把一個常被抽象討論的問題變成可重做的介入實驗。少量後訓練可以改變指定回答行為，評分卻仍需要把事實與價值選擇分開。

對想研究模型立場的讀者，下一步可以先讀公開題目與裁判規準，再檢查自己最關心的語言與議題。先對上「改了什麼」，才適合討論這個版本是否更適合自己的用途。

資料來源

• Nous Research Arete 官方文章
• Arete-27B 模型卡與權重
• 官方 803 題評測資料
• 官方後訓練資料