Nemotron 3.5 Transcribe 開放權重:40 語言、說話者標記與長錄音怎麼用?
Nemotron 3.5 Transcribe 開放權重,支援 40 語言與一小時錄音。解析說話者標記、逐字時間戳、官方錯誤率,以及每秒 2,238 秒音訊的硬體條件,分清離線轉錄、開源版本與實際部署成本。
Nemotron 3.5 Transcribe 讓錄音轉文字多了一項選擇:依用途整理。同一場會議,記者可能需要保留原話,工作團隊卻想清掉口頭停頓,再標出誰說了什麼。
NVIDIA 於 2026 年 10 月 28 日發布 Nemotron 3.5 Transcribe,讓使用者用文字指令指定轉錄方式。它把轉寫、說話者標記與翻譯等工作,放進同一個開放權重模型。
這款模型支援 40 種語言、最長一小時的錄音,但處理的是錄製好的音訊。若需求是在直播中立即出字幕,就要另外確認即時系統的能力與流程。
對需要整理大量錄音的團隊,這種可指定輸出方式的設計有直接用途。不過,官方公布的高速處理數字,還包含特定硬體與尚未全部進入開源版本的服務優化。
有 GPU 與資料處理能力的團隊適合安排測試,GPU 是負責大量平行運算的晶片。只想在一般筆電上即時開會轉錄的人,還不能只憑模型每次動用的參數較少,就決定採用。
先分清模型接收和產出什麼,才能理解它能省下哪一段人工整理工作。
Nemotron 3.5 Transcribe 是什麼?用指令決定錄音怎麼變文字
這是一款接收錄音與文字指令、輸出文字結果的語音模型,重點是把多種錄音整理工作接在同一個模型裡。使用者可以依需要選擇輸出方式,而非只取得一種固定逐字稿。
依 NVIDIA 官方模型卡,用途包括逐字轉錄、書面化轉錄、提供背景詞彙的轉錄、說話者標記、翻譯及音訊問答等。
以下把這些能力對應到較容易理解的工作目的。
| 輸出需求 | 適用的整理方向 | 後續核對重點 |
|---|---|---|
| 保留原話 | 逐字轉錄 | 用詞與停頓是否被改寫 |
| 方便閱讀 | 書面化轉錄 | 清理口頭語後是否保留意思 |
| 整理多人會議 | 說話者標記與時間戳 | 發言是否接到正確人與片段 |
| 跨語言使用 | 語音翻譯 | 目標語言是否保留原意 |
表中的需求各有取捨。例如,清理重複詞可能讓會議紀錄更好讀,但如果工作要引用受訪者原話,就必須先確認哪些內容被整理過。
因此,模型可接受指令的意義,在於讓輸出規則更貼近用途。它仍需要人定義保留原話、處理數字及專業名詞的方式,也需要用錄音核對結果。
40 種語言是整體支援範圍,各項任務仍有自己的語言矩陣。不能因為某語言能轉錄,就直接假設它也支援同樣的翻譯方向或說話者功能。
模型的文字處理範圍最高為 65,536 個 token,token 是模型計算內容時使用的片段,並不等於中文字數。錄音長度上限和文字處理上限,也應分別確認。
若原始素材超過一小時,團隊就要另行規劃切分與前後文接續,再檢查切點附近的句子和說話者。這是應用端需要處理的工作,不能把支援長錄音理解成沒有長度限制。
當輸出不只是一串句子,說話者與時間位置就成了能否直接使用的關鍵。

Meet NVIDIA Nemotron 3.5 Transcribe 🎙️
— NVIDIA AI (@NVIDIAAI) October 28, 2026
An open-weight, promptable 30B MoE model with ~4B active parameters that brings transcription in 40 languages, speaker attribution, translation, contextual prompting and audio understanding into one checkpoint.
Watch it keep track of who… pic.twitter.com/PEH1PeURIv
誰說了什麼、發生在何時?說話者與逐字時間戳的用途
說話者標記與逐字時間戳,可以讓使用者回到錄音核對發言,而不只接收整理好的文字。對多人交談的素材,這會影響後續剪輯、引用與整理的速度。
NVIDIA 的官方示範貼文展示多人重疊說話的情境,模型需要追蹤不同發言。這是產品方提供的展示,本刊沒有重新執行相同錄音測試。
說話者標記的作用,是區分同一份錄音中不同的聲音。它不會因此證明發言者的真實身分,所以「說話者一」仍需由熟悉現場的人對上姓名。
若把這個區別忽略,團隊可能得到排版整齊、名字卻錯置的會議紀錄。因此,正式引用前,還是應確認重要承諾、數字或決定究竟由誰說出。
逐字時間戳則把文字連回音訊中的位置。依官方說明,使用相應選項時,可取得字詞的開始與結束時間,以及說話者等資訊,方便回到原片段檢查。
假設需要找出會議何時改變交付日期,時間位置就能幫助使用者重聽前後文。這比單看摘要更容易分清「提出建議」和「已經做成決定」。
但對齊結果也要檢查,尤其是重疊說話、長停頓和不清楚的專名。輸出具有時間欄位,只能證明有提供定位資訊,無法直接保證每個位置都完全準確。
定位功能幫助查核,但文字是否正確,仍需要看測試方法與自己的錄音。
官方轉錄錯誤率怎麼讀?不同資料集不能混成同一準確率
NVIDIA 公布的錯誤率反映特定測試集表現,不能直接當成每份錄音的正確率保證。錄音的語言、噪音、說話方式與專有名詞,都會改變實際難度。
官方研究頁公布,英文 Open ASR Leaderboard 的九個公開測試集合,平均詞錯誤率為 4.71%;多語言榜單則公布 4.62%。
詞錯誤率常寫成 WER,是把辨識結果和參考逐字稿相比,量化錯誤程度的指標,數字越低越好。但不同測試集的錄音條件不同,因此兩個平均值不能直接拿來推算哪種語言比較容易。
模型卡也把各種能力分開列出。單人辨識、長錄音、多人重疊與提供背景詞彙的轉錄,並不是同一組測驗,團隊應優先看接近自己資料的那一項。
如果錄音經常出現產品代號或人名,可以進一步測試背景詞彙是否有幫助。官方支援提供文字脈絡,但這項功能是否能處理自己的專名,仍要用固定素材比較。
這些成績是 NVIDIA 公布的結果。模型卡所列測試結果的截止日期為 2026 年 10 月 12 日,正式釋出日期則是 10 月 28 日,兩個日期分別對應測試與發布。
實際驗收時,除了平均錯誤,還應保留重要欄位的錯誤。例如,會議日期或合約金額寫錯,即使只占少數字詞,對使用者也可能比漏掉幾個口頭語更難接受。
品質門檻確定後,還要看取得同樣速度,需要付出哪些硬體條件。
一秒處理 2,238 秒音訊,需要哪些條件?
這項吞吐量來自特定 Blackwell GPU、量化格式與 NIM 服務優化,NIM 是 NVIDIA 打包提供的模型推論服務。這些條件不能直接套到所有開源部署。吞吐量描述一段時間內能處理多少音訊,和單一使用者等待一個檔案完成的時間不同。
NVIDIA 公布的配置,是單張 RTX PRO 6000 Blackwell Server Edition,使用 NVFP4 模型與 DFlash2 輔助解碼,並透過 Nemotron Transcribe NIM 執行。
量化是用較精簡的數值形式儲存和運算模型,目的是降低資源需求。不同精度需要相容硬體,因此不能看到較小的版本,就假設原本的顯示卡一定能用。
官方也明確寫出,這些服務優化尚未全部納入開源釋出。發布當天提供的開源 vLLM 整合,定位偏向模型開發,預期大約慢兩倍,所以使用者下載權重後,未必能直接取得宣傳吞吐量。
同樣需要分清的是模型參數。模型卡列出完整系統約有 340 億個參數,每次運算啟用約 43 億個,並不代表只需要 4GB 記憶體。
啟用較少參數,有助於降低每次計算的工作量,但其他權重、音訊編碼與執行資料仍需要空間。因此,活躍參數、模型檔大小和執行時記憶體,不能互相替代。
官方列出 BF16、FP8、NVFP4 及 GGUF 等版本,供不同執行方式選擇。模型卡的部署範例包含單張 H100 80GB,採用者仍要依所選格式和環境確認配置。
速度和記憶體都有條件,下載模型時也需要一起確認授權與執行環境。
開放權重能商用嗎?模型、格式與成本分開確認
模型卡允許商業與非商業用途,但實際使用仍受 OpenMDW-1.1 及第三方元件條款約束。開放權重的意思,是可以取得運作模型所需的參數檔,不代表沒有使用條件。
這次發布包含不同精度的模型檔,以及微調和推論的相關工具。微調是用特定資料再訓練模型,讓它更貼近新的語言、領域或任務,仍需要另外準備資料與算力。
如果只是想整理錄音,未必一開始就需要微調。先比較原始模型加上背景詞彙的結果,有機會確認問題究竟出在辨識、輸出規則,還是錄音本身不清楚。
自行部署也會產生運作成本,包括 GPU、儲存、批次排程與人工修正。若每份錄音仍要花很久校對,單純的模型處理速度就不足以說明整體節省多少。
對含有內部會議的工作,團隊還應先決定哪些人能讀取原音檔、逐字稿與時間標記。這是資料處理的工作分工,不能只因為模型放在自己的環境,就假設所有存取已被限制。
使用外部服務則需要另外查看服務方條款和計價,模型權重的授權不會自動決定代管服務的費用。本次公告沒有提供一套適用所有部署的固定服務價格。
取得適合的模型檔和環境後,可以用一組短錄音先判斷導入是否值得。
先用短錄音檢查名字、重疊發言與輸出格式
我建議先用有正確逐字稿的短錄音,比對實際任務,而非一開始就把所有歷史音檔丟進模型。這樣能先找出限制,再決定如何安排批次工作。
例如,挑一段多人討論且出現產品名稱的片段,同時保留原話與人工核對版本。要求模型分別輸出逐字版和閱讀版,就能看出文字清理是否改變了發言原意。
接著回到重要片段,核對說話者、開始時間與結束時間。若需要用在影音剪輯,這一步比只確認整段文字大致合理,更能判斷後面還要修多少。
量速度時,也應同時記錄音檔長度、整件工作耗時和使用硬體。多個檔案一起跑的處理量,和一個檔案排隊後的等待,會影響不同使用者的工作體驗。
以上是本刊建議的方法,並非已完成的效能實測。當團隊能找回證據、辨認錯誤並接手修正,批次轉錄才有可評估的節省。
如果要比較另一款開放語音模型,語言和背景詞彙的支援範圍同樣需要分開看。
延伸閱讀:Granite Speech 5.0 更新:多語轉寫、兩千詞提示,為何不等於支援中文聽寫?
至於把音訊處理速度搬到一般裝置,測試資料與計時方式也會改變結論。
延伸閱讀:EmbeddingGemma 語音轉文字實驗:一小時錄音 13 秒,速度與正確率怎麼比?
Nemotron 3.5 Transcribe 常見問題 FAQ
能直接用來產生即時直播字幕嗎?
官方把它定位為處理錄製音訊的離線模型,不能直接當成已提供完整直播字幕服務。即時需求仍要確認音訊輸入、串流與字幕交付的整條系統。
約 4B 活躍參數,代表 4GB 顯示記憶體就夠嗎?
參數數量和記憶體用量是不同指標。完整模型、執行資料與音訊處理仍占空間,需要依官方相容表和所選格式確認。
40 種語言都能做全部任務嗎?
各項能力有不同的支援範圍,應分別查轉錄、翻譯和說話者等任務的語言矩陣。不能把整體語言數套到每一種輸出。
說話者標記會直接辨認真人姓名嗎?
它用來區分錄音中的發言者,不建立真實世界身分。若紀錄需要姓名,仍須由掌握現場資訊的人核對。
有批次錄音需求的團隊,可以先驗證輸出是否能直接接手
Nemotron 3.5 Transcribe 的用途,在於讓一份錄音依不同工作需求變成文字、翻譯與定位資訊。對有 GPU、能安排資料處理和校對的團隊,這是值得測試的整合方向。
採用前,先用短片段核對品質,再用預計部署的環境計時,會比直接引用最高吞吐量更能估算實際效益。若主要需要即時會議服務,則應優先確認能完整滿足現場需求的工具。
歡迎免費訂閱 AI 郵報,持續追蹤語音模型、部署條件與可實作的工作流程。