LiteLLM 語音串流更新:先播聲音後收完整音檔,記帳與中斷怎麼處理?
LiteLLM 語音串流改動已於11月17日合併,處理首段音訊、串流計費與名額收尾。解析指定ElevenLabs延遲案例、中斷仍可能計費與備援限制,並保留尚未核實PyPI發布版本的邊界。
LiteLLM 語音串流要縮短的,是使用者等到第一段聲音的時間。語音助理若先等整個音檔生成完才開始播放,即使後面內容正確,開頭長時間沒有回應也會打斷對話。
文字轉語音服務可能已能分段傳送,但中間的閘道若把內容全部收齊再交出去,應用程式仍聽不到早到的片段。這次改動處理的正是這段緩衝造成的等待。
LiteLLM 在 2026 年 11 月 17 日合併的更新,讓語音端點在明確啟用串流後,隨供應商產生音訊分段往外傳送。官方隔天介紹的 ElevenLabs 長音檔案例,首段約 0.72 秒到達。
這是特定供應商與測試條件下的結果,不代表整段音訊只花 0.72 秒,也不是所有模型都達到相同延遲。應用程式要受益,還得真的採用分段播放,而非自己再次等收完整檔案。
透過 LiteLLM 建立語音產品的團隊,可以評估這項更新。但串流也會改變失敗、記帳和並行請求的生命週期,不能只打開一個選項就假設舊的錯誤處理完全適用。
要決定如何升級,得沿著音訊開始傳送、完成播放到連線中斷的不同狀態檢查。
先聽到聲音與完整生成,是兩種不同的等待
LiteLLM 語音串流更新處理的是語音如何送到使用者耳邊。一般文字轉語音會先生成音檔,客戶端再下載播放。串流則讓音訊分段抵達,收到前面一段就能先播,後面仍在生成。
對語音助理而言,這能改變使用者感受到的等待。
但「開始說話」與「整段話完成」不是同一個時間。較早收到第一段,不表示整份音訊更短時間產生,也不表示聲音品質、發音或總費用同步改善。要評估效果,至少得把首段音訊等待與全部收完的時間分開記錄。
這次依據是 LiteLLM 官方程式庫的修改請求,在 2026 年 11 月 17 日合併,官方帳號隔日分享。
請求最早建立於十月,本文以合併為這次進展,不把建立時間與社群發文時間混成同一個發布日。
官方提供的其中一個 ElevenLabs 測試案例,首段音訊等待由 7.17 秒縮短至 0.72 秒。
這是指定模型與測試負載下的觀察,不是所有聲音、長度與網路環境都能達到的保證,也不能把其他案例的數字接在一起算出共同加速倍數。
對客服或閱讀服務而言,較快出聲可以減少使用者以為系統沒有反應的情況。但若後半段突然中止,使用者仍沒有收到完整答案。因此產品驗收不能只測播放器是否開始播放,還要確認它如何呈現未完成與重試。
程式碼合併也不等於所有已安裝版本都有這項行為。截至本次查核,本文未確認包含此改動的 PyPI 發布版本。實際升級應先核對版本與對應文件,再在測試環境驗證,不能把合併紀錄改寫成一般安裝後立即可用。

LiteLLM can now stream text-to-speech audio on /v1/audio/speech. Your app can play the clip while the provider is still sending chunks.
— LiteLLM (YC W23) (@LiteLLM) November 18, 2026
Here is how to get started with streamed speech:
- Send the request: call POST /v1/audio/speech with "stream": true, or use stream=True in the… pic.twitter.com/c01XHa4mpO
開啟 stream 之後,請求會如何走完?
程式透過 API,也就是供軟體呼叫服務的介面,送出文字轉語音要求。這次修改讓請求可明確設定 stream 為布林值 true,要求分段送回音訊。
它涵蓋相容的語音端點、程式套件、路由與代理服務流程,但是否真的串流,仍取決於後端供應商與所選實作。
官方列出 OpenAI 相容供應商、ElevenLabs、Amazon Polly 與 Azure AI Speech 的串流處理。
其他後端可能仍先生成完整內容再回傳,不能因為入口統一,就假設每一個供應商都會採相同方式吐出音訊。
未指定串流時,原則上保留原本的緩衝行為,也就是先準備內容再傳回。不過部署設定若已把串流設成預設值,省略欄位的請求仍可能走串流。團隊應同時核對呼叫端與服務端設定,避免只看自己送出的資料就判斷實際路徑。
串流的生命週期,比一般一次傳完整檔案的請求更長。伺服器可能先送出回應標頭,接著持續傳音訊,最後才關閉連線。這段期間,模型用量、連線資源與成功狀態都還需要追蹤,不能在收到第一段時就當成整件事完成。
修改說明提到,過去串流語音曾有費用紀錄與金鑰使用名額沒有正確收尾的問題。若一個名額一直沒有釋放,後續請求即使本來應可執行,也可能碰到使用量限制。
因此這次重點不只出聲速度,還包括結束與中斷時能否把狀態處理完整。
新的流程會在音訊結束時完成費用紀錄,使用名額則保留到串流結束再釋放。這符合工作仍在進行的事實,但也代表長音訊會持續占用名額。若企業同時服務許多使用者,仍要觀察長度、同時進行數量與等待隊列之間的關係。
應用程式也要使用適合串流的讀取方式。官方說明提到,在直接存取完整內容前,需要先把串流讀完。若原本的程式假設每次都會收到完整音檔,只改一個參數未必足夠,還得檢查下載、儲存與播放的安排。
這些是官方修改所描述的機制,本文沒有以真實服務流量重跑測試。採用時應把自己的應用程式、供應商與代理設定一起核對,才知道改動是否覆蓋實際使用路徑。
連線中斷時,為何 HTTP 成功仍可能沒有完整音訊?
串流常見的誤解,是看到 HTTP 200 就認為整段語音已成功送達。實際上,回應狀態可能在第一段音訊之前就送出。後續網路或供應商出錯,原本已送出的成功狀態也不能倒回去改寫。
因此客戶端還需要判斷串流是否正常結束,而不只是檢查開頭的狀態碼。修改說明保留連線與逾時錯誤在部分音訊已送出後發生的情況,產品應能把這種結果標示為中斷,避免把殘缺音檔當成完整答案存下來。
如果使用者中途關閉播放或離開頁面,服務端也需要處理斷線。官方描述這類客戶端中止會留下 499 的紀錄。它適合用來分辨使用者離開與正常完成,但不能只憑這個狀態就推斷使用者為何離開,仍需配合產品事件理解。
中斷也不代表供應商費用歸零。有些語音服務依輸入字元計費,工作已送出後,即使使用者只聽到一部分,費用也不會按收到的音訊位元組比例縮減。官方修改因此保留中斷或部分輸出的計費處理。
想像一段很長的文章朗讀,使用者聽到前幾句就離開。較快出聲改善了開頭體驗,但若請求一次送出整篇,後端仍可能已為整段文字投入生成。這是解釋費用機制的假設例子,不代表本文量得任何供應商的實際帳單。
這也會影響重試策略。在尚未播放之前,系統可能還有機會改用其他路徑。一旦使用者已聽到部分語音,再自動換供應商從頭接續,可能造成聲線、速度或內容重複,甚至讓人無法判斷哪段已完整。
官方修改明確保留開始送出內容後不能任意切換備援的限制。備援是指原供應商失敗後改走另一個服務,並不是任何時點都能無縫接手。應用程式可以改為提示中斷、讓使用者選擇重播,並清楚處理已產生的部分內容。
因此成功率至少要分成開始收到、正常完成與中途終止三個觀察。只統計首段抵達,就可能掩蓋後續品質問題。只統計最後失敗,又可能漏掉使用者已經聽到一部分的體驗與費用。
升級前怎麼驗收速度、費用與名額釋放?
第一步先確認版本,而不是直接改正式環境。官方程式庫已合併的改動,需要對照實際發布包與部署設定。把目前版本、供應商、模型、音訊格式與是否有服務端預設串流記下來,才有可回復的比較起點。
接著挑短、中、長三種符合產品用途的文字,使用相同聲音與設定測試。分別記錄送出時間、第一段抵達、正常結束與播放完成,不要把播放器緩衝時間和供應商生成時間混成同一個數字。
若產品要求先下載再存檔,還應檢查檔案是否可完整播放,以及儲存流程是否等到資料讀取結束。若產品直接播放串流,則觀察開始是否順暢、是否反覆停頓,以及結束訊號是否能正確關閉介面中的處理狀態。
比較測試也要避免把不同音訊長度放在一起。長文字通常有更多內容需要生成,即使首段很快到達,完整時間仍可能較長。固定文字、聲音與格式後,才適合比較改動前後。
若產品同時更換模型或音質設定,就應將這些差異寫在結果旁邊。
對談話型產品,另一個值得檢查的地方是使用者打斷發言。使用者可能想更正問題,而不是單純取消播放。前端停止聲音、後端取消工作與費用收尾是不同的步驟,畫面上不再播放,不能證明遠端請求已經停止。
應由記錄確認取消是否傳到服務端。
若團隊先做小範圍試行,可以把新流程限定在容易回復的一組測試使用者,保留原本的完整音檔路徑以便比較。這是本文的導入建議,並不代表此修改自動提供功能開關。
能分辨問題出在播放、傳輸或後端,比一次全面切換更容易找到修正位置。
第二輪加入中止案例。先讓一段語音開始播放,再由測試端中止連線,確認應用程式沒有繼續顯示完成,也沒有把半段內容當成完整檔案。此時同時核對服務端紀錄與供應商帳務,判斷費用是否符合實際計價方式。
第三輪再觀察名額。連續啟動幾次小流量請求,包含正常完成與中止,之後檢查新的請求是否能恢復執行。若仍出現限制錯誤,要辨識是名額未釋放、真正碰到配額,還是供應商另外施加的限制,不要只依單一狀態碼下結論。
監測數字也可能與資料庫紀錄不同。官方修改的限制說明指出,中途截斷的音訊即使已記入資料庫費用,Prometheus 監測中的費用指標仍可能沒有顯示。
Prometheus 是收集運行數值的監測工具,因此核對時應同時查看費用紀錄與監測,不把單一畫面沒有金額解釋成沒有計費。
最後比較新的費用紀錄是否完整。即使首段等待縮短,若報表漏記串流、把中斷當作免費,團隊仍無法判斷真實成本。把完成狀態與費用一起驗收,才能避免以較好看的延遲數字掩蓋另一段缺口。
以上是本文根據修改機制整理的試行方法,不是聲稱官方已替每個部署做完驗收。對外提供語音服務之前,應用程式如何告知中斷與重播,與代理如何完成收尾,同樣影響使用者能否信任整段回答。
LiteLLM 語音串流常見問題
開啟串流之後,所有供應商都會更快出聲嗎?
不一定。後端是否真的串流、網路與播放器如何緩衝,都會影響首段等待。官方個案數值只能連著指定測試條件閱讀,其他後端也可能維持緩衝處理。
使用者離開頁面,這次語音就不收費嗎?
不能這樣推論。部分服務依輸入字元計費,已送出的生成工作可能仍產生費用。需要核對供應商規則、代理紀錄與實際中止階段。
為何不能在聽到一半時自動換供應商?
使用者已經收到部分內容,重新生成可能造成聲音與內容不連續。官方改動保留此限制,產品應另行安排中斷提示與重播,而不是假設任何失敗都能無縫接手。
更快開始之後,還要可靠地結束
這次改動的實用性,在於把首段音訊、計費與連線收尾放回同一個請求流程。評估時先固定版本與後端,再驗證完整與中斷兩條路徑,才知道速度改善是否能轉成可靠的語音體驗。
延伸閱讀:AI 語音等多久才開口?Artificial Analysis 新增首音延遲評測,串流與音質怎麼選?
延伸閱讀:remsky/Kokoro-FastAPI 本機開源語音合成教學:Docker 一鍵架設相容 OpenAI 格式的高速 TTS