Claude Message Threads 公開測試,長對話代理如何縮短首字等待?

Claude Message Threads 公開測試,長對話代理如何縮短首字等待。整理官方更新、實際運作、方案限制與接入條件,協助團隊判斷如何安排測試與導入。

Share
Claude Message Threads 官方文章封面,粉色背景與手繪速度表指針
Anthropic 以速度表圖像呈現 Message Threads 的首字延遲改善主題。 圖片來源:官方原文。

長對話代理每多做一步,就可能多帶上一份工具結果,下一次請求也跟著變大。

Claude Message Threads 讓程式第一次送完整對話後,後續只傳新訊息和上一個回應的識別碼。

Anthropic 在十一月二日開放公開測試,改善的是模型開始回覆前的部分等待。

官方表示,在五十萬到一百萬 token 的請求中,首字等待時間中位數約下降 35%。

模型每回合仍讀完整上下文,因此 token 用量與既有費率維持原本計算方式。

活躍且內容很長的代理適合先測,但接入前也要準備對話過期後的復原路徑。

Claude Message Threads 省下哪一段等待?

Message Threads 減少每回合重新上傳與處理舊訊息的工作,對話愈長,這段等待愈值得關注。

一個程式代理可能連續呼叫工具、閱讀檔案,再依結果修改程式。每次新增的資料都成為下一步判斷的背景,因此對話會在工作期間持續成長。

傳統請求會把整份歷史重新送出。即使這一回合只多了一個工具結果,先前讀過的文件、圖片與訊息仍要一起抵達服務端,再接受驗證與處理。

這些工作發生在開始收到回答之前,讀者感受到的就是送出請求後的空等。首字延遲衡量的是從請求到第一個回覆 token 出現的時間,和整段回答寫完有不同範圍。

Message Threads 會讓服務端短期保留對話,後續請求大多只需處理新的內容。程式因此能減少重傳資料,也減少每次重複處理整份請求的負擔。

官方稱,多數 Claude Code 使用者已預設啟用。針對五十萬到一百萬 token 的長請求,首字延遲中位數約降低 35%,這是官方觀察到的特定區間結果。

如果代理的歷史很短,或大部分時間花在工具執行,這項改善占整個任務時間的比例就可能較小。接入評估因此需要先知道,自己的等待到底發生在哪一段。

對需要連續互動的長任務而言,每一回合少等一點,能減少工具與模型之間累積的停頓。但要取得這種收益,客戶端得先能分清完整歷史與本回合新增內容。官方功能公告

Claude Message Threads 官方文章封面,粉色背景與手繪速度表指針
Anthropic 以速度表圖像呈現 Message Threads 的首字延遲改善主題。 圖片來源:官方原文。

官方事件影片。 來源:官方原始貼文。

首次建立與後續續接,請求內容怎麼變?

第一個請求建立對話串,後續請求帶上新內容與上一個回應識別碼來接續。

第一次呼叫時,程式照原本方式送出完整訊息、系統提示與工具定義,再加上建立對話串的參數。服務端會把這段對話與 Claude 的回應連在該回應識別碼下。

下一回合,程式傳送上次回應之後新增的訊息,並指定上一個回應的識別碼。服務端依這個線索重建完整上下文,再交給模型處理。

系統提示和工具會沿用建立時的內容,因此續接請求省去這些重複欄位。程式也要在每次成功收到回應後,改用最新的回應識別碼,才能沿正確的對話往下走。

這項設計讓 API 請求本身變小,應用程式的工作流程仍能維持熟悉的工具循環。模型提出工具呼叫,程式執行,再把新結果送回,接著等待下一步判斷。

若直接操作 API,開發者就要自己維護這些續接關係。官方 SDK 另提供對話串輔助物件,替程式組合建立和續接請求,也加入所需的測試版標頭。

輔助物件會在記憶體保留完整對話,因此使用者不必在每個回合手動拼接所有參數。不過,這份紀錄的保存範圍仍取決於物件和執行程序的生命週期。

例如,一個網頁後端若會在不同工作程序之間接手請求,就需要另外安排歷史保存方式。只有某個程序記憶體裡的物件,無法直接成為跨程序續做的長期紀錄。

這讓開發者要同時處理兩份資訊。回應識別碼方便服務端接續,完整訊息紀錄則讓應用程式在必要時重建對話,兩者各自承擔不同工作。

同一條對話如何處理分支與修改?

官方文件規定,對話串採持續追加的方式,每個回應識別碼只能接續一次。因此,程式要沿最新回應往下走,平行啟動的工作若要各自延伸,就需要建立自己的對話串。

如果想改較早的訊息,或從先前位置分支,做法是用該分支的完整歷史建立新串。這讓應用程式能明確保存每一條工作路徑,也避免把不同版本的背景接在一起。

續接請求也只應包含新增訊息。文件指出,服務端不會替客戶端比較這些內容是否已傳過,重送舊訊息可能讓同一段歷史出現兩次,或導致請求錯誤。

當工具和系統提示需要變動時,也要依固定欄位規則建立新串。把這些變更點記在任務紀錄裡,開發者就能知道某次重建是設計需要,還是保存期限已到。

短期保存的對話如何處理過期與復原?

對話串在閒置五分鐘後過期,接續失敗時,應用程式必須能以完整歷史重建。

每次服務端保存新的回應,都會重新起算五分鐘。因此,持續往返的代理較容易使用既有對話串,長時間等待使用者或外部工作的流程則可能遇到過期。

官方把這項保存描述為盡力提供的短期功能。即使建立或續接請求成功回應,也不會額外告知該回合是否確實保存,程式會在下次續接時知道能否繼續。

當服務端無法接續,請求會收到找不到對話串的錯誤。程式應重新傳送完整歷史建立新串,再從新回應的識別碼繼續,讓原本的任務得以往下進行。

官方 SDK 的輔助物件會處理這種重送,但前提是物件仍握有完整歷史。因此,應用程式仍是對話內容的主要紀錄來源,需要自行保存每一則訊息。

這件事對會長時間執行工具的代理尤其重要。一次資料整理可能超過五分鐘,等工具結果回來時,舊串已過期,後端仍要能補送先前背景。

在這種情況下,復原工作是重建模型需要的對話。應用程式也應把工具是否已完成記錄清楚,續接模型時才知道哪份結果已可直接提供。

完整歷史若只放在單一程序記憶體,重新啟動後就可能需要從其他保存位置恢復。團隊可以依自己的工作系統,安排對話紀錄和任務狀態的保存方式。

官方也指出,對話串沒有列出、讀取或刪除的管理 API。因此,應用程式要查看工作經過時,仍應依靠自行保留的訊息和執行紀錄。

這份復原能力和效能改善會一起影響使用體驗。當長任務停頓後仍能接回原本工作,較短的請求才有機會成為穩定流程的一部分。官方 Message Threads 文件

用量、Prompt Caching 與資料保留要怎麼看?

對話串改變了請求如何抵達模型,token 計費、Prompt Caching 與資料保留各有自己的條件。

模型仍會看到重建後的完整對話,因此輸入背景沒有因為少傳資料就消失。官方明確說明,token 用量、既有費率與速率限制維持原本規則。

如果團隊想降低重複背景的計費,還需要看提示快取。Prompt Caching 是替符合條件的重複輸入設定快取,和減少每回合傳輸歷史的功能各有機制。

建立對話串本身不會自動替所有輸入啟用提示快取。官方範例提供獨立的快取設定,程式要按文件選擇適合自己的快取位置與方式。

所以,評估時可以分別觀察首字延遲、輸入 token 和快取相關用量。這讓開發者能知道改善來自請求處理變快,還是計費中的快取讀取增加。

資料保存也有明確範圍。官方表示,對話以伺服器管理的金鑰加密,保存在記憶體,並且不寫入持久儲存,最後使用後一小時內刪除。

五分鐘描述能否繼續使用同一條對話串,一小時描述服務端刪除的上限,兩者回答不同問題。企業檢查資料處理條件時,需要把這兩個時間一起納入。

官方文件把 Message Threads 列為不適用零資料保留,也不適用 HIPAA 的功能。組織若對資料處理有特定要求,應先核對這項功能是否符合自身部署條件。

文件還列出部分上下文管理、壓縮或其他功能組合可能使對話串無法使用。開發者可以根據回應中的原因調整請求,或改回傳送完整歷史的路徑。

因此,接入測試需要使用實際會開啟的工具與設定。只測最簡單的兩回合文字,可能看不到自己的正式任務會遇到的相容條件。

哪些長任務值得先接入測試?

持續產生截圖、文件或工具結果的活躍代理,較容易累積值得省去的重傳工作。

程式開發是官方列出的情境之一。當代理讀過許多檔案、連續執行工具,歷史會愈來愈長,後續只送新增結果便能減少每次請求的重複部分。

操作電腦的代理也有類似需求。每一步新的截圖會加入對話,讓模型根據目前畫面繼續判斷,短期保存能減少前面那些圖片反覆上傳。

文件與圖片較多的工作流程同樣值得比較。若每回合都帶著先前檔案,傳輸量增加可能先影響回應前的等待,這時便能觀察對話串是否改善該段延遲。

測試時可先記錄請求送出、第一個回覆和整個任務完成的時間。因為這項更新主要改善前段等待,首字變快和整體任務變快需要分別確認。

也應加入一次刻意超過保存時間的停頓。當程式能在過期後補送完整歷史,繼續完成同一個工作,才證明效能路徑和復原路徑都能運作。

若任務每回合相隔很久,對話串就可能經常需要重建,平均收益會受到這種使用節奏影響。這種情境可以在測試紀錄中清楚呈現,作為是否接入的依據。

反過來,短時間內密集執行多回合的代理,有較多機會沿用同一份服務端歷史。對這類工作,把每回合省下的等待加總,較能反映使用者完成整件事的時間變化。

如果原本系統已提供任務時間紀錄,可以直接加入每回合的首字時間與重送原因。這讓效能比較延續既有觀測資料,也比較容易追查某個長對話為何比其他工作慢。

常見問題

Claude Message Threads 在哪些平台能用?

公開測試支援原生 Claude Platform、Claude Platform on AWS、Microsoft Foundry,以及由 Anthropic 管理的 Google Cloud Claude Models。實際接入仍需依各平台文件使用對應設定。

測試版標頭裡的日期,就是公開推出時間嗎?

這項功能於二〇二六年十一月二日宣布公開測試。API 標頭使用的日期是功能版本識別,開發者應依文件填入,發布時間則依正式公告判讀。

對話串可以當成長期記憶資料庫嗎?

它提供短期請求續接,應用程式要保留自己的完整歷史。需要跨工作階段搜尋或長期保存時,仍應由自己的資料系統承擔紀錄工作。

把首字延遲與可復原性一起量測

對活躍且上下文很長的代理,Message Threads 值得用實際任務比較。先保留完整歷史,再把正常續接、過期重送與首字延遲都跑過一次,才能知道這項改善能否穩定縮短自己的等待。

延伸閱讀 Claude Code 加入 gzip 壓縮:開始回應更快,和模型思考速度有什麼不同?

延伸閱讀 Context Engineering 是什麼?讓 AI 掌握正確背景的工作方法

原始資料來源