Trajectory2Gym 改寫代理訓練資料：工具執行成功，為什麼還不值得模仿？
Trajectory2Gym 以可見證據、工作順序與互動結構篩選工具代理訓練資料，在五種 Qwen3 規模評估。解析成功軌跡的盲點、父互動正規化、配對比較與公開模型限制。
使用者原本想換水瓶和檯燈，最後確認只換燈。代理仍替水瓶辦理更換，工具也可能順利執行。如果只保留「呼叫成功」的紀錄，模型就可能學到不該做的事。Trajectory2Gym 要補的正是這種決策檢查。
即使整個任務最後成功，示範者也可能用到學生模型看不到的識別碼，或跳過取得資訊的步驟。這種紀錄能交出結果，卻不一定提供可模仿的決策依據。
西湖大學與螞蟻國際研究者在 2026 年 10 月 24 日提交 Trajectory2Gym，把訓練資料的重點從收集成功過程，移到建構有依賴關係、每一步有根據的互動。
方法會補足少見的多步互動，再檢查各步驟當時可見的證據、工具結果和工作順序。通過的決策才列入訓練，真實錯誤則可保留為後續恢復的脈絡。
團隊以五種 Qwen3 規模進行監督式微調，在三組評測都看到各規模的整體進步。不過部分單步工具類別退步，且有一部分評測屬見過題目的設定。
我認為這項方法最可借用的，是把「值得模仿」和「最後做成」分開。團隊若已保存大量工具紀錄，下一個問題應是每次操作有沒有根據，而不是只留下更多成功呼叫。
Trajectory2Gym 為何不把工具執行成功當成合格教材？
執行成功只表示工具接受了操作，不能保證操作符合使用者最後的要求，也不能證明模型當時看得到必要資訊。
論文用更換商品作示意：使用者起先希望更換兩件商品，最後只確認其中一件。工具可能接受兩種更換請求，但多換那一件仍違反最新要求。這是經改寫對話與構造候選動作的說明圖，並非一宗真實客訴。
另一種問題比較不容易從結果看出。收集示範的人可能知道某個訂單識別碼，學生模型在目前對話裡卻從未見過。如果把那次工具呼叫當成標準答案，學生就被要求模仿一個缺少必要資訊的決定。
這會把訓練目標變成猜測隱藏答案，而非學會查詢後再行動。最終任務即使碰巧完成，也不能證明示範的每一步都可由模型當時的可見歷史推出，更不能因此說下一個新任務也能用相同捷徑。
原始論文將需求分成互動覆蓋與決策依據。前者確保資料真的包含查詢、澄清、恢復和分支，後者檢查可模仿動作是否有可見來源。只增加成功片段數量，可能兩件事都沒有解決。
研究的候選池有 34,772 段經認證互動，其中 40.9% 至多只有兩個可訓練決策，只有約一成在真實錯誤之後還有可用的恢復決策。這是該資料池的分布，不是所有代理訓練資料的共同統計。
要教會依情境決策，資料不只得刪掉錯誤示範，還要主動補上缺少的多步互動。
怎麼補出查詢、澄清、重試和確認的完整互動？
Trajectory2Gym 先找支援不足的決策路徑，再在原生環境建立並執行對應任務，讓資料包含資訊取得與失敗恢復的依賴。
一條路徑可以是先查帳號、查不到時詢問補充資訊、重新查詢、讀取訂單、取得確認，再執行取消或修改。單一工具呼叫都不一定難，困難在於後一步必須依賴前一步真的取得的資訊。
研究先用共同能力標記表示這些關係，再讓生成器建立符合目標路徑的請求和初始狀態。這不是把多個不相干工具湊在同一段文字裡，而是讓任務的前提、物件和資訊來源能在環境中實際接續。
教師模型接著在原本工具介面執行，取得真正回傳的結果、狀態變化和拒絕。若要教失敗恢復，就必須讓資料包含可觀察的錯誤，以及後來有根據的重試，而非只在文字旁邊註記「這裡曾失敗」。
收集過程也可能使用教師提示，但這些額外提示不會直接混入學生看到的歷史。否則學生訓練時取得比實際使用更多的資訊，分數再高也不能回答一般工具介面下是否能自己完成工作。
只有執行紀錄真的呈現所要求的依賴關係，系統才把它算進已覆蓋的路徑。生成器寫出某個能力名稱不等於成功建立教材。教師走錯或跳過關鍵查詢，也不能僅靠標籤就算補足缺口。
新任務仍可能由示範者走捷徑，所以每個訓練決策都要再核對學生可見的證據。
哪些步驟能訓練，哪些錯誤只留作脈絡？
方法只對通過可見資訊、執行有效性與任務順序檢查的步驟計算模仿損失，拒絕的呼叫和真實錯誤仍可留在歷史裡。
模仿損失可以理解為模型在訓練時，哪些輸出會被要求盡量學得相同。保留在對話裡的內容，不代表每一則都必須模仿。這讓失敗的經驗能提供脈絡，而不必把錯誤操作也教成下一次的正確行動。
工具必須真的對學生可用，重要識別碼也要來自先前可見的請求、使用者交換或工具結果。需要先搜尋才能找到的工具，則必須先出現在可見搜尋結果中，不能讓教師暗中知道的工具名稱直接成為學生答案。
執行檢查則確認呼叫沒有被拒絕，或通過環境提供的動作驗證。然而，執行與資料來源都正確，仍可能用在錯誤的工作範圍。例如使用者已取消更換水瓶，合法識別碼也不能替這次額外操作取得同意。
因此整段互動還必須通過環境的終局成功判斷，以及任務要求的工作順序。必要操作要依正確次序出現在合格歷史中，中間可以有其他動作，但不能略過確認就執行本來要求先確認的變更。
這幾層檢查分別回答不同問題：學生是否知道、工具是否接受、任務是否允許。將它們拆開，才能避免把一個簡單的「成功」標記承擔過多含義，也讓錯誤恢復的前後關係保留下來。
合格步驟選出來後，還要避免同一段互動因切成更多訓練列而取得不成比例的權重。
延伸閱讀：IQuest-Q1 首次技術報告公開：320B 程式模型，如何學會跨工具完成長任務？
為何一段長互動不該因拆成多列就更重要？
父互動正規化以一段完整語意互動作為等權單位，再把它的權重分給可訓練的輸出，避免資料切法左右訓練比例。
父互動就是原本完整的一段任務過程。正規化則是調整計算比例。若兩段任務分別被整理成三列和一列，直接平均每一列，前者就占四分之三權重，後者只有四分之一，即使這種差別只是整理格式造成。
方法改讓兩段完整互動各占一半，再依可訓練輸出的 Token 數分配內部比例。Token 是模型處理文字片段的計量單位。這樣，同一互動切成更多片段時，不會僅因列數增加就壓過其他任務。保留但不模仿的錯誤訊息，仍只作理解脈絡。
選資料時還要考慮不同結構出現幾次。只讓每條路徑出現一次，未必給較大模型足夠變化。反過來反覆選同一個簡單流程，又可能擠掉少見的恢復或工具發現。團隊因而按模型規模設定不同支援深度。
五種規模的目標深度依序為一、二、三、四與八，計算的是每條可行路徑有多少不同互動支持，不是把同一段資料複製八遍。選擇程序也保留任務覆蓋和每個任務的限制，不能只追求一個抽象路徑分數。
這些設計解釋了為何資料量相近，學到的行為仍可能不同。訓練不只受文字內容影響，也受哪些過程被重複看到、哪些輸出被模仿，以及長互動在損失中占多少比例影響。
這些資料設計合在一起能否改善行為，必須透過相同模型微調前後的配對評估來看。
五種模型都進步，哪些比較仍要保留條件？
五種 Qwen3 的三評測整體分數都比各自初始化提高，但這是整套訓練配方的結果，不能當成單一篩選規則的全部功勞。
模型涵蓋 1.7B、4B、8B、14B 和 30B-A3B，採一輪完整參數的監督式微調，沒有以強化學習訓練。不同規模使用約 11,600 至 19,900 段互動。規模增加時，所見資料結構也依設定改變。
主要配對比較讓各模型和自己的初始化，在同一組任務、介面、解碼方式、使用者模擬器和計分規則下測試，每題跑一次。這比直接拿別家模型的公開分數，更適合觀察整套後訓練方式造成什麼變化。
三組評測等權平均提高約 16.9 至 29.8 個百分點。這是先算各評測再平均，不是把全部題目混在一起的總正確率。Tau1 航空類還屬見過題目的設定，不能把所有分數都說成完全未見任務的泛化成績。
4B 模型在 Tau2 由 19.17 提高到 69.17，呈現明顯改變，但 BFCL 的單次簡單呼叫類別在五種規模中有四種退步。多步資料帶來的優勢，並不表示每一種立即工具選擇都同時變好。
團隊另做四組組件對照，觀察合成、依據檢查、結構選擇和父互動權重，各自相較替代方案的方向。不過每組只有單次實驗，設定也不是完全相同的四個可相加增益，不能把四項差距加總成完整模型提升幅度。
其中，父互動正規化的八十億參數模型對照，三評測平均相差 8.04 個百分點，是這組設計的重要證據。它仍不能和其他三組的增益直接相加，因為各對照從不同替代方案出發。小型分項裡，單一任務成敗就足以移動整體平均。
評測也包含見過題目和部分單步能力退步，因此公開工件與重現邊界必須一併交代。
公開資料與五個模型，足夠重做完整研究嗎？
截至 2026 年 10 月 27 日，官方公布候選互動資料與五種模型，程式庫也明示僅靠程式快照不能直接重現完整數字。
官方程式庫列出的公開候選池有 34,772 段互動，分成七個壓縮檔。它不是各模型實際使用的所有渲染訓練樣本，也不包含擴充後的 30B-A3B 全部語料，重現時不能只看同樣資料名稱就當作配方完全相同。
五個模型的保存精度也不同：前三個以單精度格式保留，後兩個使用 BF16。官方列出的檔案大小因此不會單純按模型名稱比例縮放。原始保存精度可能需要更多記憶體，不能把它當成量化後的部署容量。
程式採 Apache 2.0，外部模型、任務、環境與衍生資料仍有各自條款。發布頁也說明分數繼承原實驗，並非上傳模型時重新跑過一輪測試。這些邊界讓讀者知道可以接續什麼，而不是宣稱一鍵即可重做全部成果。
模型發布說明亦保留原始精度與檔案校驗資訊，方便核對拿到的工件是否相同。這種檔案一致性只能確認發布內容，並不能取代任務環境、解碼設定與使用者模擬器的重現。下載相同權重，仍可能因評測流程不同得到不同結果。
對實務團隊最可借用的是決策來源與互動權重的檢查方法。自家資料仍須確認使用者意圖、工具狀態與來源授權。
延伸閱讀：Self-HPO 讓程式代理改流程再訓練自己：57.8% 到 64.8%，改善來自哪裡？
常見問題 FAQ
Trajectory2Gym 是用強化學習訓練嗎？
本論文主要模型使用監督式微調。合成互動、篩選決策和調整資料權重，是同一套後訓練配方的一部分。
成功紀錄為什麼還需要篩選？
工具接受操作不代表符合最後要求。示範者也可能使用學生看不到的資訊。訓練前仍須檢查每一步的來源、順序和任務範圍。
