Claude Message Threads 公開測試,長對話代理如何縮短首字等待?
Claude Message Threads 公開測試,長對話代理如何縮短首字等待。整理官方更新、實際運作、方案限制與接入條件,協助團隊判斷如何安排測試與導入。
長對話代理每多做一步,就可能多帶上一份工具結果,下一次請求也跟著變大。
Claude Message Threads 讓程式第一次送完整對話後,後續只傳新訊息和上一個回應的識別碼。
Anthropic 在十一月二日開放公開測試,改善的是模型開始回覆前的部分等待。
官方表示,在五十萬到一百萬 token 的請求中,首字等待時間中位數約下降 35%。
模型每回合仍讀完整上下文,因此 token 用量與既有費率維持原本計算方式。
活躍且內容很長的代理適合先測,但接入前也要準備對話過期後的復原路徑。
Claude Message Threads 省下哪一段等待?
Message Threads 減少每回合重新上傳與處理舊訊息的工作,對話愈長,這段等待愈值得關注。
一個程式代理可能連續呼叫工具、閱讀檔案,再依結果修改程式。每次新增的資料都成為下一步判斷的背景,因此對話會在工作期間持續成長。
傳統請求會把整份歷史重新送出。即使這一回合只多了一個工具結果,先前讀過的文件、圖片與訊息仍要一起抵達服務端,再接受驗證與處理。
這些工作發生在開始收到回答之前,讀者感受到的就是送出請求後的空等。首字延遲衡量的是從請求到第一個回覆 token 出現的時間,和整段回答寫完有不同範圍。
Message Threads 會讓服務端短期保留對話,後續請求大多只需處理新的內容。程式因此能減少重傳資料,也減少每次重複處理整份請求的負擔。
官方稱,多數 Claude Code 使用者已預設啟用。針對五十萬到一百萬 token 的長請求,首字延遲中位數約降低 35%,這是官方觀察到的特定區間結果。
如果代理的歷史很短,或大部分時間花在工具執行,這項改善占整個任務時間的比例就可能較小。接入評估因此需要先知道,自己的等待到底發生在哪一段。
對需要連續互動的長任務而言,每一回合少等一點,能減少工具與模型之間累積的停頓。但要取得這種收益,客戶端得先能分清完整歷史與本回合新增內容。官方功能公告

Message threads are now in public beta on the Messages API.
— ClaudeDevs (@ClaudeDevs) November 2, 2026
The API caches your conversation on the server between turns, so instead of resending the full conversation, you send only new messages and the previous message ID, and Claude starts responding sooner. pic.twitter.com/VeiehyqfIg
官方事件影片。 來源:官方原始貼文。
首次建立與後續續接,請求內容怎麼變?
第一個請求建立對話串,後續請求帶上新內容與上一個回應識別碼來接續。
第一次呼叫時,程式照原本方式送出完整訊息、系統提示與工具定義,再加上建立對話串的參數。服務端會把這段對話與 Claude 的回應連在該回應識別碼下。
下一回合,程式傳送上次回應之後新增的訊息,並指定上一個回應的識別碼。服務端依這個線索重建完整上下文,再交給模型處理。
系統提示和工具會沿用建立時的內容,因此續接請求省去這些重複欄位。程式也要在每次成功收到回應後,改用最新的回應識別碼,才能沿正確的對話往下走。
這項設計讓 API 請求本身變小,應用程式的工作流程仍能維持熟悉的工具循環。模型提出工具呼叫,程式執行,再把新結果送回,接著等待下一步判斷。
若直接操作 API,開發者就要自己維護這些續接關係。官方 SDK 另提供對話串輔助物件,替程式組合建立和續接請求,也加入所需的測試版標頭。
輔助物件會在記憶體保留完整對話,因此使用者不必在每個回合手動拼接所有參數。不過,這份紀錄的保存範圍仍取決於物件和執行程序的生命週期。
例如,一個網頁後端若會在不同工作程序之間接手請求,就需要另外安排歷史保存方式。只有某個程序記憶體裡的物件,無法直接成為跨程序續做的長期紀錄。
這讓開發者要同時處理兩份資訊。回應識別碼方便服務端接續,完整訊息紀錄則讓應用程式在必要時重建對話,兩者各自承擔不同工作。
同一條對話如何處理分支與修改?
官方文件規定,對話串採持續追加的方式,每個回應識別碼只能接續一次。因此,程式要沿最新回應往下走,平行啟動的工作若要各自延伸,就需要建立自己的對話串。
如果想改較早的訊息,或從先前位置分支,做法是用該分支的完整歷史建立新串。這讓應用程式能明確保存每一條工作路徑,也避免把不同版本的背景接在一起。
續接請求也只應包含新增訊息。文件指出,服務端不會替客戶端比較這些內容是否已傳過,重送舊訊息可能讓同一段歷史出現兩次,或導致請求錯誤。
當工具和系統提示需要變動時,也要依固定欄位規則建立新串。把這些變更點記在任務紀錄裡,開發者就能知道某次重建是設計需要,還是保存期限已到。
短期保存的對話如何處理過期與復原?
對話串在閒置五分鐘後過期,接續失敗時,應用程式必須能以完整歷史重建。
每次服務端保存新的回應,都會重新起算五分鐘。因此,持續往返的代理較容易使用既有對話串,長時間等待使用者或外部工作的流程則可能遇到過期。
官方把這項保存描述為盡力提供的短期功能。即使建立或續接請求成功回應,也不會額外告知該回合是否確實保存,程式會在下次續接時知道能否繼續。
當服務端無法接續,請求會收到找不到對話串的錯誤。程式應重新傳送完整歷史建立新串,再從新回應的識別碼繼續,讓原本的任務得以往下進行。
官方 SDK 的輔助物件會處理這種重送,但前提是物件仍握有完整歷史。因此,應用程式仍是對話內容的主要紀錄來源,需要自行保存每一則訊息。
這件事對會長時間執行工具的代理尤其重要。一次資料整理可能超過五分鐘,等工具結果回來時,舊串已過期,後端仍要能補送先前背景。
在這種情況下,復原工作是重建模型需要的對話。應用程式也應把工具是否已完成記錄清楚,續接模型時才知道哪份結果已可直接提供。
完整歷史若只放在單一程序記憶體,重新啟動後就可能需要從其他保存位置恢復。團隊可以依自己的工作系統,安排對話紀錄和任務狀態的保存方式。
官方也指出,對話串沒有列出、讀取或刪除的管理 API。因此,應用程式要查看工作經過時,仍應依靠自行保留的訊息和執行紀錄。
這份復原能力和效能改善會一起影響使用體驗。當長任務停頓後仍能接回原本工作,較短的請求才有機會成為穩定流程的一部分。官方 Message Threads 文件
用量、Prompt Caching 與資料保留要怎麼看?
對話串改變了請求如何抵達模型,token 計費、Prompt Caching 與資料保留各有自己的條件。
模型仍會看到重建後的完整對話,因此輸入背景沒有因為少傳資料就消失。官方明確說明,token 用量、既有費率與速率限制維持原本規則。
如果團隊想降低重複背景的計費,還需要看提示快取。Prompt Caching 是替符合條件的重複輸入設定快取,和減少每回合傳輸歷史的功能各有機制。
建立對話串本身不會自動替所有輸入啟用提示快取。官方範例提供獨立的快取設定,程式要按文件選擇適合自己的快取位置與方式。
所以,評估時可以分別觀察首字延遲、輸入 token 和快取相關用量。這讓開發者能知道改善來自請求處理變快,還是計費中的快取讀取增加。
資料保存也有明確範圍。官方表示,對話以伺服器管理的金鑰加密,保存在記憶體,並且不寫入持久儲存,最後使用後一小時內刪除。
五分鐘描述能否繼續使用同一條對話串,一小時描述服務端刪除的上限,兩者回答不同問題。企業檢查資料處理條件時,需要把這兩個時間一起納入。
官方文件把 Message Threads 列為不適用零資料保留,也不適用 HIPAA 的功能。組織若對資料處理有特定要求,應先核對這項功能是否符合自身部署條件。
文件還列出部分上下文管理、壓縮或其他功能組合可能使對話串無法使用。開發者可以根據回應中的原因調整請求,或改回傳送完整歷史的路徑。
因此,接入測試需要使用實際會開啟的工具與設定。只測最簡單的兩回合文字,可能看不到自己的正式任務會遇到的相容條件。
哪些長任務值得先接入測試?
持續產生截圖、文件或工具結果的活躍代理,較容易累積值得省去的重傳工作。
程式開發是官方列出的情境之一。當代理讀過許多檔案、連續執行工具,歷史會愈來愈長,後續只送新增結果便能減少每次請求的重複部分。
操作電腦的代理也有類似需求。每一步新的截圖會加入對話,讓模型根據目前畫面繼續判斷,短期保存能減少前面那些圖片反覆上傳。
文件與圖片較多的工作流程同樣值得比較。若每回合都帶著先前檔案,傳輸量增加可能先影響回應前的等待,這時便能觀察對話串是否改善該段延遲。
測試時可先記錄請求送出、第一個回覆和整個任務完成的時間。因為這項更新主要改善前段等待,首字變快和整體任務變快需要分別確認。
也應加入一次刻意超過保存時間的停頓。當程式能在過期後補送完整歷史,繼續完成同一個工作,才證明效能路徑和復原路徑都能運作。
若任務每回合相隔很久,對話串就可能經常需要重建,平均收益會受到這種使用節奏影響。這種情境可以在測試紀錄中清楚呈現,作為是否接入的依據。
反過來,短時間內密集執行多回合的代理,有較多機會沿用同一份服務端歷史。對這類工作,把每回合省下的等待加總,較能反映使用者完成整件事的時間變化。
如果原本系統已提供任務時間紀錄,可以直接加入每回合的首字時間與重送原因。這讓效能比較延續既有觀測資料,也比較容易追查某個長對話為何比其他工作慢。
常見問題
Claude Message Threads 在哪些平台能用?
公開測試支援原生 Claude Platform、Claude Platform on AWS、Microsoft Foundry,以及由 Anthropic 管理的 Google Cloud Claude Models。實際接入仍需依各平台文件使用對應設定。
測試版標頭裡的日期,就是公開推出時間嗎?
這項功能於二〇二六年十一月二日宣布公開測試。API 標頭使用的日期是功能版本識別,開發者應依文件填入,發布時間則依正式公告判讀。
對話串可以當成長期記憶資料庫嗎?
它提供短期請求續接,應用程式要保留自己的完整歷史。需要跨工作階段搜尋或長期保存時,仍應由自己的資料系統承擔紀錄工作。
把首字延遲與可復原性一起量測
對活躍且上下文很長的代理,Message Threads 值得用實際任務比較。先保留完整歷史,再把正常續接、過期重送與首字延遲都跑過一次,才能知道這項改善能否穩定縮短自己的等待。
延伸閱讀 Claude Code 加入 gzip 壓縮:開始回應更快,和模型思考速度有什麼不同?
延伸閱讀 Context Engineering 是什麼?讓 AI 掌握正確背景的工作方法