ZONOS3-Mini 開放語音模型:43 語言、本機聲音複製與逐字控制怎麼看?
Zyphra 在 2026 年 11 月 9 日發表 ZONOS3-Mini,11 月 12 日又透過 Hugging Face 整理技術內容並公布論文。這篇採七日內題材範圍,保留原始發布日期,不把後續整理當成首次上市。 本文說明官方資料、具體用途與能力限制,協助判斷採用條件。
為旁白換一句話,常常不只要重錄內容,還得維持同一個人的聲音與節奏。若語音模型能在自己的電腦或手機上合成,等待時間、資料傳輸與逐字修改方式就會一起影響工作流程。
Zyphra 在 2026 年 11 月 9 日發表 ZONOS3-Mini,11 月 12 日又透過 Hugging Face 整理技術內容並公布論文。這些後續資料補充了模型架構、控制範例與執行方式,方便開發者評估如何使用。
它是把文字轉成語音的開放權重模型,支援以參考聲音進行零樣本聲音複製,也提供音色、口音與說話方式的控制。官方列出 43 種語言,包含華語。
模型每一步約啟用一億個參數,官方同時提供瀏覽器、Apple 晶片與伺服器等執行方式。不過,能在裝置上執行,和每台裝置都能達到同樣延遲,是兩回事。
我會先看一段中文旁白能否保留關鍵字、停頓和聲音一致性,再比較首段聲音要等多久。官方展示的低延遲提供方向,仍不能代替台灣口音和實際設備的試聽。
要評估這次開放是否值得試用,可以從文字如何變成聲音、控制能改到哪裡,以及官方速度數字的條件開始看。
ZONOS3-Mini 讓文字變聲音,聲音複製需要合適參考
ZONOS3-Mini 的核心任務是語音合成,將文字和聲音條件轉成可播放的音訊。
文字轉語音常寫成 TTS,輸入是要念出的內容,輸出是聲音檔案或音訊串流。它不同於把錄音轉成逐字稿的語音辨識,也不等於能聽懂問題、規劃答案並回話的完整助理。若用在對話產品,其他步驟仍要由別的系統負責。
零樣本聲音複製的意思,是提供參考聲音後,不必為每位說話者重新訓練一個專用模型,就能嘗試合成相近音色。這降低準備成本,但相近程度、口音與句子節奏仍會受到參考內容和生成方式影響。
官方提供兩種聲音條件。其一把參考片段放進模型上下文,另一種先把目標聲音轉成濃縮的特徵表示。前者與後者在自然度、韻律和控制方式上有取捨,不能只憑同一個人聲範例,就假定所有執行方式會產生完全相同的結果。
對旁白製作而言,可以先用已取得同意的聲音,建立包含數字、產品名與長短句的短稿。參考錄音、輸入稿和生成設定要一起保存,後續改一句話時,才知道音色變化是設定差異還是模型本身不穩定。這是建議的驗收流程,非本刊試跑結果。
官方支援清單包含華語,但沒有因此保證台灣人名、多音字或在地口語都能正確處理。若要把它放進中文課程或客服,應先用實際詞彙試聽,而非將支援某語言解讀成所有地區口音都已通過驗證。
先確認輸入任務與聲音使用範圍,才有意義比較後續速度和品質。

小型稀疏模型與低頻音訊表示,減少逐步生成負擔
官方將效率改善分散在語音表示、模型結構和執行方式,而非只縮小權重檔案。
Zyphra 在介紹中將模型概括為約八億總參數、每步約一億啟用。參數是模型儲存已學習規律的數值。混合專家架構讓每次運算只使用其中一部分。啟用量較少,並不代表其他權重不需要存放,也不能直接換算成使用者電腦所需的記憶體。
另一層改善來自 ZAC-1 音訊編碼器。它把聲音轉成模型較容易逐步生成的表示,使用每秒十五個時間步。這個頻率不是最終播放聲音每秒只有十五個取樣點。官方輸出音訊仍是四萬四千一百赫茲,兩者位在不同處理階段。
降低中間表示的時間步數,可以減少生成一段聲音時需要反覆執行的工作。能否維持清晰度和聲音相似度,仍須看編碼器與模型共同訓練的結果,不能單看壓縮程度判斷品質。官方的比較支持的是其指定資料與設定。
模型結構也混合了不同的序列處理方式,試圖同時照顧較長內容與推論效率。對一般製作者而言,不必先掌握全部架構細節,但要理解它的效率主張有多個來源,並非把大型語音模型的檔案縮小就自然得到相同性能。
執行工具則涵蓋瀏覽器 WebGPU、Apple 晶片的 MLX、原生 C++ 執行環境與伺服器框架。這些名稱代表不同的硬體與軟體路徑,並不保證每種路徑都已支援相同控制功能。部署前應先選定目標裝置與必要功能,再核對對應文件。
這些設計讓本機執行更可行,實際記憶體和延遲仍須在目標設備量測。
音色與逐字控制,讓修改旁白有更細的落點
合成一段能聽的聲音之外,旁白工作還需要控制哪一句、哪一個詞怎麼說。
官方將控制分為說話者特徵與說話方式。前者包含聲音年齡感、性別表現、口音和質地,後者涵蓋速度、情緒、投射感與活潑程度。同一段台詞可以在保留參考聲音的條件下,嘗試不同的表現方向。
這些控制是生成目標,不是對人類聲音的精確測量。把年齡感調到某個位置,不代表產生的聲音經過驗證就等於某歲。柔和音色也只是近似氣聲感,官方並沒有提供獨立的氣聲專用控制項。
說話方式的調整使用活化引導,也就是在模型內部表示上加入特定方向,影響生成聲音。這種方法可以讓聲音傾向某種情緒或節奏,但不同特徵可能連動。官方特別提醒,速度也可能影響音高與音量,情緒目標不保證完全獨立。
逐字控制則讓修改有更細的落點。透過模型學到的文字與聲音對齊資訊,可以對某一段詞語施加不同說法,例如只把一句話的開頭改成耳語。生成後另有編輯模型,可在既有聲音內容中修改句子。
製作時可以先固定文字、參考聲音與隨機設定,每次只改一種控制,對照聲音是否仍像同一位說話者、字詞是否完整。若同時大幅改年齡、口音和情緒,即使成果不好,也難以判斷是哪個因素造成。
對課程旁白來說,優先驗收的可能不是戲劇效果,而是重要詞是否清楚、句尾是否截斷、速度改變後數字是否被吞掉。這些項目能直接連回用途,比只評一句聲音很自然更有助於修改。
控制項應以聽感與文字完整性驗收,而非把數值當成人類聲音特徵的精確量尺。
速度與評測要連同硬體、負載和語言一起讀
首音延遲、整段完成時間與伺服器吞吐量,描述的是三種不同等待。
首音延遲描述送出工作後,多久開始得到可播放的聲音。官方示範 Pixel 9 在瀏覽器執行時低於五百七十毫秒,M3 MacBook Air 低於一百五十毫秒。這些數字附著於特定裝置與執行環境,不能外推到所有手機和瀏覽器。
整段完成時間則包含後續音訊生成,與首音不同。若一段旁白很快開始出聲,後面卻無法持續供應,播放仍可能停頓。因此對即時產品還要量測連續播放是否跟得上,對離線製作則要看整段何時可匯出。
伺服器吞吐量又是另一件事。官方列出 H100 上每秒產生四百五十七秒音訊的最佳吞吐量,以及特定並行負載下的首音中位數。這描述多個工作一起處理的產出,不代表某位使用者的一段話會以四百多倍速度完成。
品質部分,團隊推出 ZTTS2-Eval,乾淨錄音部分涵蓋三十五種語言,較接近真實環境的部分涵蓋二十種語言。兩組可能重疊,不能相加成五十五種不同語言,更不能和模型支援的四十三語言清單混為一談。
綜合指數還將不同語言、資料條件和評分項目一起建模。官方聲稱在自家這套指數中領先開放模型,仍屬公司評測,不是本刊重新進行的獨立聽測。讀者應回到自己最重要的語言與聲音樣本,而非只用總排名替所有用途下結論。
官方綜合指數以四百二十個由指標、資料條件和語言組成的項目建模,嘗試避免單一容易題或困難題主導比較。這能提供一種彙整方式,仍不會把不同用途的偏好消除:新聞朗讀可能重視字詞準確,角色配音則更在意情緒與聲音一致。
因此,試聽最好不要只挑最有戲劇性的片段。可以把平穩朗讀、數字密集句和需要細微停頓的句子分開,讓同一批聽眾評估是否聽清楚內容。若只有情緒展示很好,正式課程仍可能需要大量人工修訂。
對重複製作而言,還要檢查第二次生成是否維持角色。每次都很自然但每次都像不同的人,和同一位旁白穩定念完系列內容,是兩種品質標準。把這些標準在試用前寫清楚,才容易知道模型是否適合現有製作。
用自己的文字、聲音與設備建立對照,才知道官方數字離工作現場有多遠。
ZONOS3-Mini 常見問題
開放權重、語言支援與瀏覽器執行,不能互相替代成品質保證。
開放權重代表所有部分都用同一種授權嗎?
不是。官方模型權重採 Apache 2.0,執行程式另採 MIT,兩者需要分開查看。參考聲音的使用權也不會因模型開放而自動取得,製作對外內容時仍應確認聲音素材與說話者同意範圍。
可以在瀏覽器執行,就代表完全不用傳資料嗎?
官方提供用戶端執行方式,但實際資料路徑仍取決於你使用的展示站或自行部署設定。要主張本機處理,應檢查所選入口和執行模式,不能把所有線上試用頁都當成同樣的隱私條件。
支援華語,能直接當作台灣口音旁白嗎?
支援清單只證明官方列入該語言,不能替在地音感和專有名詞驗收。可以先準備地名、人名、日期和常用語,請目標聽眾比較,並保留需要重念或改字的地方。
影片展示可以證明聲音複製已完全自然嗎?
官方影片是展示材料,不能代替固定條件的盲聽比較。要比較模型,應讓各系統讀同一段文字,使用合適且有權使用的參考聲音,再分開看內容完整性、音色相似度與自然度。
把部署條件與語言驗收分開處理,才不會在開始製作後才發現限制。
先用短篇旁白檢查完整性,再擴大工作量
可以先選有數字、專有名詞與明確停頓的短稿,檢查每次生成是否完整。
一份短稿可以分成三類句子:容易讀的正常句、包含術語的句子,以及需要強調或停頓的句子。先確認中性設定能完整讀完,再加入速度與情緒控制,會比較容易找出問題來源。
同時記錄裝置、執行環境、首音時間和整段完成時間。若換設備後結果不同,這份紀錄能幫助團隊決定應調整設定、改用伺服器,還是保留原本配音方式。
ZONOS3-Mini 提供的是更多可自行掌握的語音生成選擇。是否值得導入,最後仍取決於你的稿件、聲音授權、設備和修改成本,而不是單一漂亮的速度數字。
只有聲音、文字和等待時間都能穩定通過檢查,才值得把更長的製作流程搬過去。
延伸閱讀:EMA Lightning 語音模型只有34MB:4毫秒首音與440倍速度,該怎麼讀?
延伸閱讀:Nemotron 3.5 Transcribe 開放權重:40 語言、說話者標記與長錄音怎麼用?