DSPy 3.5 變輕了,舊程式為何仍要重測?XML、模型路由與對話記憶升級解析
DSPy 3.5 減少預設依賴,同時調整 XML 轉接器、模型介面與代理歷史。分清安裝大小、預熱測試與實際推論成本,整理舊工作遷移需要重測的格式、品質與呼叫數。
DSPy 3.5 把預設安裝縮小,也改了呼叫模型與整理答案的方式。同一段任務定義雖然還能保留,送進模型的提示和讀回的格式卻可能已經不同。
DSPy 在 2026 年 11 月 10 日發布 3.5,讓 LiteLLM 與 OpenAI Python 套件成為可選依賴,預設改用較輕的模型執行層,並調整代理歷史和輸出解析。
官方比較中,含依賴的安裝檔案由 206.7 MiB 降到 30.9 MiB,約少八成五。這是指定版本與開發快照的安裝比較,沒有量出每個正式工作都快相同比例。
更會影響舊工作的是 XML 成為預設轉接器,以及模型呼叫自動選擇介面。若服務只支援舊路徑,光是套件安裝成功,並不能確認結果和以前一致。
我會先用已經保存的題目與評分重跑,核對輸出和帳務,再採用更輕的部署。這次升級適合願意固定版本並重新驗收的團隊,不能把依賴變少當成所有行為不變。
先釐清變小的是哪一段,再看任務定義沒有改時,提示與解析為什麼仍需要比較。
DSPy 3.5 減少依賴,保留需要時的相容路徑
較輕的預設執行層減少安裝與匯入成本,需要舊相容路徑的人仍可另外安裝。
DSPy 讓開發者用輸入與輸出欄位描述模型工作,再由程式組合與評估提示。這種做法能減少到處手動拼接文字,但底下仍需要一層程式,把任務轉成模型服務接受的請求。
3.5 把這一層改得更輕。官方發布比較中,含依賴的安裝大小由 206.7 MiB 降為 30.9 MiB,相依套件由六十五項降為二十五項。發布頁的測試對照是 3.3.0 與 3.5 開發快照,數字包括指定安裝環境,不是所有部署都固定占用相同空間。
對伺服器或短時間工作而言,套件變少可以減少準備環境的負擔。官方另列全新程序匯入的十次最佳值,從 1.01 秒降到 0.49 秒。這只回答程式開始使用套件的等待,沒有測出模型生成答案快了一倍。
原本的 LiteLLM 與 OpenAI Python 套件變成可選依賴。需要相容方式的應用,可以按官方升級指南安裝對應額外套件;但保留舊引擎,不會自動把其他預設設定全部恢復。
較輕的預設執行層也採用新的請求與回應契約。一般以字串呼叫模型仍回傳清單,舊有直接傳入 messages 的呼叫與自訂底層方法,則需要按新版介面遷移。最先要查的是自訂整合,不是只看高層任務定義還在不在。
執行層換掉之後,模型收到與回傳的內容也要依新契約核對。

XML 改變提示與解析,任務欄位相同也要重評
預設轉接器從 ChatAdapter 改成 XMLAdapter,影響示範、輸出要求與解析方式。
轉接器負責把任務欄位與範例組成提示,再把模型答案拆回程式需要的結果。它像是雙向的格式協議,所以欄位名稱完全相同,換轉接器後仍可能改變模型看到的內容。
官方升級指南指出,預設改成 XMLAdapter,並啟用原生函式呼叫。原生函式呼叫是使用模型服務本身的工具介面,讓模型以結構化方式提出工具要求,而不是全部包在普通文字裡。
XML 會用標籤界定欄位,也會區分空值與空字串。例如 <value/> 表達空值,<value></value> 則可表達空字串。對會把結果寫入資料表的工作,這個差異可能影響缺資料與刻意留白的處理。
需要注意,手動建立 XMLAdapter() 時,原生函式呼叫的預設值仍是關閉,和 DSPy 選用的預設實例不同。複製一行初始化程式,並不一定等於沿用整個框架的預設配置。
舊工作也可以明確指定 ChatAdapter,但它只處理轉接器選擇,不會撤回歷史結構與呼叫介面的其他變更。較好的比較方式,是保留同一批範例與評分規則,觀察解析失敗、欄位值與模型答案如何變化。
格式對上之後,請求送到供應商的哪一種介面也會影響相容性。
自動介面路由與執行引擎是兩個設定
新版預設自動選擇模型介面,保留 LiteLLM 並不會自動恢復舊的 Chat 路徑。
模型執行引擎決定請求由哪套程式送出,介面類型則決定請求送到供應商的哪一組 API。API 可以理解為服務接受程式呼叫的入口,兩個設定相關,卻不是同一個開關。
新版 model_type 預設為自動選擇。官方說明,OpenAI 與 Azure OpenAI 預設會走 Responses 介面,即使用戶保留 LiteLLM 引擎也是如此。依賴清單沒變,不足以證明網路請求仍走原來的聊天介面。
若公司在中間放了相容代理網址,它可能只支援其中一種介面。因此升級驗收除了答案正不正確,也要記錄實際入口類型與回應格式。遇到錯誤時,才能判斷是模型能力,還是轉接服務缺少對應功能。
官方也把路由決定放在推論前。這裡的自動選擇,不是供應商回傳失敗後就自動換另一個後端重試。因此不能把設定名稱中的自動,解讀為每項失敗都有人替應用補救。
這項差別也影響錯誤處理。團隊若原本靠外層轉接器重試,應核對重試是否仍由同一層負責;若需要固定介面,則按指南明確設定。把路徑固定後,才能比較新舊模型輸出的差異,而不是同時換掉多個變因。
呼叫路徑確定後,舊有代理如何保存工作,也需要改看新的歷史結構。
History 能接續對話,不會恢復活著的 Python 變數
ReAct 與 RLM 的歷史保存對話證據,重新載入時不會還原先前解譯器的所有狀態。
History 是新的歷史結構,保存代理說了什麼、呼叫了哪些工具,以及取得哪些結果。它能讓下一次執行讀到先前對話,但對話紀錄不等於一個仍在運行的程式環境。
ReActV2 在新版成為 ReAct,原先讀取 .trajectory 的程式需改看 .history.messages。若應用會從舊欄位抽取工具結果,就應先調整這個讀取位置,否則即使任務完成,外層程式仍可能以為沒有歷史。
執行次數也有不同含義。新版 max_iters 以回合計算,而非逐項工具呼叫計算,同一回合中的工具會依序執行。因此用相同數字設定上限,不代表新舊程式允許的工具數量完全相同。
對能執行 Python 程式的 RLM 而言,每次呼叫會建立解譯器,用完後關閉。解譯器是實際保存變數並執行程式的環境;重載 History 不會把上一個環境中的所有變數也變回來。
啟動快照主要用於準備執行環境,不是使用者工作階段的完整存檔。應用若需要下一次仍能使用某份資料,就要把資料放進可持續取得的檔案或其他儲存方式,而不能只因對話提過它,就預期變數會一直存在。
新版也調整最終提交失敗的處理。遷移代理時,除了看正常答案,還要核對達到上限或提交失敗後回傳什麼,避免舊程式把例外當成可以直接顯示給使用者的最終結果。
對話與運行狀態分清楚後,效能數字才不會把預熱成本省略掉。
預熱能縮短等待,也有提前準備成本
官方預熱比較排除部分環境準備時間,所以不能用最快的一筆代表第一次使用。
等待可以分成準備環境與執行工作兩部分。官方列出的比較有些已完成前者,若拿最短的呼叫時間代表整段首次啟動,就會把事前做完的工作漏掉。
例如已準備快取的 Deno 後端,比較中的時間由 1.59 秒降為 0.45 秒;DummyLM 的 Flex 比較則由 1.61 秒降為 0.63 秒。它們是九個全新程序的中位數,但測試前已有快取,不代表完全空白環境。
預先建立執行池後,單次呼叫還可看到約 0.10 秒的數字,然而另有約 0.55 秒的準備時間沒有算進那項呼叫。執行池可以理解為先把可工作的環境備好,等請求到達後再交給其中一個處理。
這種設計對反覆使用的服務可能有幫助,對只跑一次就結束的工具,準備時間就更不能忽略。比較自己的用途時,應分開首次準備、後續呼叫與整項任務完成時間。
模型服務本身的網路與生成時間,也不會因本地環境預熱而消失。官方的底層比較適合協助定位開銷,無法直接替每個模型、每個提示或每種代理工作背書。
要衡量是否值得升級,最後仍要把品質、呼叫次數與完整成本放回同一個工作。
用同一份題目重跑,核對品質與計費
升級驗收需要比較答案、解析失敗、供應商介面與實際呼叫數,而不只檢查套件變小。
先挑一組已保存的題目,把輸入、期待欄位與評分方法固定,再分別跑新舊版本。不要在升級時同時改提示、換模型與修改評分,否則即使結果變好,也很難知道是哪一項更動造成。
計費則要看實際呼叫次數。新版對多個候選答案採用逐次單回應呼叫,重複輸入也可能重複計費。若原本只記候選數量而沒有保存請求明細,就需要更新成本比較方式。
num_retries=0 也不是所有額外呼叫的總開關。它關掉模型層重試,轉接器的 JSON 備援仍可能再送一個請求;需要嚴格限制時,還要核對轉接器備援設定,而非只看一項參數。
使用量統計要避免重複相加。指南說明,部分推理或快取資訊已包含在標準使用量中;若把附加欄位再加一次,就會得到失真的 token 總數。token 是模型計算文字的單位,不等於中文字數。
快取行為也要納入重跑記錄。官方指南調整序列化限制後,舊快取可能無法直接沿用,程式因此需要重新計算。若把這次多出的呼叫當成新版本持續增加成本,就會混入一次性的遷移開銷。
比較時可以分開記錄首次遷移與後續相同輸入的結果,核對快取是否命中,再看真正送到供應商的請求數。這讓答案品質與成本有共同條件,而不只是兩份不同準備狀態的帳單。
費用未知也應保留未知,而非寫成零。遇到新模型或不完整價格資料時,先保存請求與使用量,再對照供應商帳務。等格式、品質與成本都能對上,較輕的安裝才會變成可維護的升級成果。
先讓一個已知工作保持可用,再逐步遷移其他自訂整合。
DSPy 3.5 升級常見問題
主要差異在預設設定與資料契約,不能只看任務描述是否相同。
DSPy 3.5 小了八成五,是不是回答也快八成五?
該比例來自指定版本與開發快照的安裝大小比較。匯入與執行環境另有測試,模型回答時間還受供應商與任務影響,不能直接套用同一比例。
裝回 LiteLLM 就能完全沿用舊行為嗎?
它保留一條相容引擎路徑,預設轉接器、介面自動選擇與代理歷史仍有其他變更。應按官方升級指南逐項核對,而非只比較依賴清單。
History 能讓上次的 Python 變數繼續存在嗎?
它保存對話證據,RLM 每次呼叫仍會建立與關閉執行環境。需要跨次保存的資料,必須另外安排持續儲存,並在恢復時重新取得。
最適合先遷移哪項工作?
先選有固定題目、可驗收輸出與帳務紀錄的單一流程。確認新格式與實際呼叫數後,再擴大到其他自訂工具與代理。
先固定一組可重播的題目,確認新結果和成本,再把較輕的部署推向更多工作。