EmbeddingGemma 語音轉文字實驗：一小時錄音 13 秒，速度與正確率怎麼比？

EmbeddingGemma 語音轉文字實驗，把原本用來表示內容相似度的模型改成轉錄工具。原作者表示，在基本款 M3 MacBook Air 上，一小時音訊約 13 秒處理完成。

這個數字很容易吸引需要整理會議與訪談的人。若能在自己的電腦快速轉錄，也能減少把錄音送到雲端的需求。

但它目前主要以英文詞彙與資料建立，速度展示不能直接當成繁體中文會議的適用證據。

原作者也交代正確率仍有進步空間。我認為它適合當成值得研究的本機工具，而實際工作要把錯字修正時間一起算入。

EmbeddingGemma 語音轉文字，原理怎麼理解？

Embedding 是把內容轉成一組數值，讓系統比較它們的相似度。Google 官方文件介紹文字、圖片、音訊與影片共用的表示空間。

如果聲音與對應文字靠得近，就有機會用這種關係嘗試讀出文字。但表示相似度，與逐字轉錄仍是不同任務。

作者保留聲音編碼器，再訓練小型讀取器

原作者專案頁說明，它不改變原本聲音編碼器，另外訓練小型讀取器，把短音訊片段對到文字空間，再補上標點與大小寫。

讀取器使用約 22.9 萬個英文詞彙候選。因為候選以英文為主，遇到人名、縮寫或其他語言時，需要另外檢查表現。

因此，對臺灣讀者最有用的比較，不是先比誰最快，而是自己的錄音能不能被正確理解。

搜尋相似內容，與按順序寫出原話不同

假設你在相簿搜尋「海邊」，系統只要把相關照片排在前面，就算有用。逐字稿卻不能只找出相關的句子，還要保留實際說出的內容與順序。

所以，從找相似內容走到忠實轉錄，還需要處理每個詞的差別。相似的意思，不一定是相同的詞，尤其否定、數字與專有名稱，都會影響一句話的真正含義。

作者使用小型讀取器，從短聲音片段尋找對應文字，再把片段接成全文。這條路線的創意，是利用既有模型的表示能力，另訓練一個較小的轉換部分。

讀取器仍有自己的詞彙範圍。假設錄音裡出現罕見品牌或新公司名稱，聲音可能很清楚，卻沒有合適的候選，這時速度快也不能解決辨識問題。

因為產品名稱可能超出常見詞彙，測試時應挑自己會用到的名稱核對。原作者的英文資料條件，讓我們需要特別留意名稱與跨語言的內容。

臺灣會議常把中文、英文縮寫與數字混在一起。英文句子轉得好，不代表同一套讀取器可以完整處理這種語言切換，必須用自己的片段測試。

如果錄音內容只是英文閱讀，測試可以先看常見詞與標點。若要整理研究訪談，就要加入受訪者實際使用的術語，避免只用容易的範例判斷。

也要區分辨識詞與補標點。文字都對，但句號放錯位置，可能把一個條件拆成不同結論，所以核對全文時不能只看錯字數量。

這個實驗證明了一種新的應用方向，並不改變官方模型原本的用途。Google 提供模型與文件，第三方作者則負責這套轉錄工具與自述效能。

延伸閱讀：Google 推出 EmbeddingGemma 2：7.4 億參數，讓手機離線搜尋照片、影音與程式碼

13 秒的數字，應該連同哪些條件讀？

作者測試使用基本款 M3 MacBook Air，並把速度寫成約 288 倍即時。倍即時就是音訊長度除以處理時間，數值越高表示越快。

這是作者在指定條件下的結果，並非我們在讀者電腦上的實測。首次下載模型、讀取文件和人工核對，也可能增加整體時間。

比較表中不同硬體，不能直接當成排名

專案頁對部分比較資料明示不同電腦與音訊。硬體、資料與軟體都不同時，速度差異不能全部歸因於模型。

要做自己的比較，可以固定同一份錄音、同一臺電腦，分別測試，記錄總時間與錯字。這樣才看得出哪個選擇省工。

把開始等待，到拿到可用逐字稿的時間都記下來

假設有一段半小時的英文訪談，第一輪先記錄工具處理時間，再記錄人工修正時間。兩個數字加起來，才更接近這份工作實際佔用的時間。

模型處理只花很短時間，但若整份文字需要重聽，總工時仍可能偏長。相反地，處理稍慢卻少很多重要錯誤，也可能更適合正式紀錄。

首度使用還有下載與準備的時間，但這不等於每次都會重複。比較時可以把首次準備與後續執行分開，避免對常態效率作出錯誤判斷。

因為比較表混用資料，讀者要分開看前兩列的相同 M3 電腦測試與後面其他基準。閱讀時要保留這個區別，不能把整張表當成同場比賽。

同一臺電腦還要使用相同錄音，才容易比較模型差異。若一份是清楚的演講，另一份是多人同時說話，時間與錯誤差異也可能來自資料。

自己的測試可以先用一個短片段，確認工具可執行且語言條件合適，再增加長度。這樣能提早排除基本問題，不會等整份結果才發現用途不符。

也可以分開觀察清楚、低音量與背景吵雜的片段。若只測最容易的一段，就可能忽略實際訪談中最花時間修正的地方。

所以，這套比較不需要先找一個絕對最快的模型。對需要交付逐字稿的人而言，能在自己的設備上穩定完成、且重要句子可核對，才有直接價值。

如果每次重做結果差很多，還要保留使用的版本與設定。工具更新可能改變讀取器表現，之前的測試結論未必適用新版本。

作者提供的是值得試驗的起點。把自己的錄音條件、設備與修正工時一起記下來，才有辦法判斷這個快，是否真的讓你省下工作。

錯字率之外，要看哪種錯誤影響工作

作者報告目前詞錯誤率約為 5%。這項指標比較轉錄與正確文字之間的差異，但不同錯誤的實際影響可能不同。

一句閒聊漏一個語助詞，與把金額或截止日寫錯，後果不一樣。會議紀錄應特別核對姓名、數字、否定詞與決定事項。

轉錄與摘要應該分開驗收

假設工具先把「不用寄出」寫成「用寄出」，摘要可能進一步把它寫成待辦。文字錯誤便會改變實際行動。

這是說明錯誤傳播的例子。先核對重要原句，再讓摘要工具整理，能避免把不確定文字直接變成工作指令。

少量關鍵詞錯誤，也可能讓整份紀錄失去用途

詞錯誤率是把轉錄與正確稿比較，看替換、漏字與多出的字佔多少。它能描述整體差異，卻不會自行區分哪些錯誤對工作最重要。

假設一段討論說「週五前不用送」，若漏掉「不用」，錯誤只佔很少文字，卻會讓後續行動完全相反。因為會改變行動，這種句子需要對回原聲。

涉及金額也一樣。「十五」與「五十」聽起來接近時，文字差異不多，但引用到報價或預算便會造成實際影響，不能只靠整體百分比放心。

作者自述約百分之五，是特定實驗的目前結果。它不代表每二十個詞必定錯一個，也不能直接預測你的錄音會出現哪些錯誤。

個人驗收可以先標出姓名、金額、日期、否定與承諾，再逐句回聽。這樣把有限時間放到最可能改變紀錄用途的地方。

但重要詞核對不能代替整份稿的基本檢查。若一大段內容缺失或順序錯亂，摘要也可能失去前提，所以還要確認段落與原聲對得起來。

假設訪談中，受訪者先提出猜想，後來又收回。摘要若只保留前半段，可能把已撤回的說法當成最終結論，轉錄快並不會自動避免。

因此，可以先把忠實逐字稿與整理後摘要分開保存。前者讓人回查，後者服務閱讀，兩種版本各有用途，也方便辨識錯誤發生在哪一步。

如果要引用一句原話，應核對那一句的完整上下文。模型補出的標點與大小寫也不能改變原意，避免流暢的文字掩蓋原聲裡的猶豫或條件。

這套做法讓工具負責縮短初稿時間，人負責確保關鍵內容能用。若修正工作仍太重，就應換工具或縮小用途，而不是降低紀錄標準。

核對完也可以記下錯誤集中在哪類內容。若大多出現在專有名稱，下一次就先檢查名稱；若常漏整段，則要優先確認音量與錄音完整性。

這種分類讓修正工時有機會降低，也能看出工具是否符合自己的用途。同樣的總錯誤率，對不同工作可能需要完全不同的檢查安排。

本機工具也需要自己的資料管理

作者表示音訊在裝置端處理。這對有隱私需求的個人錄音有吸引力，但後續文件放在哪裡、誰能讀到，仍取決於使用者設定。

如果轉錄後自動同步到共享資料夾，內容仍可能被其他人看到。因此，錄音的本機處理與全文的分享，是需要分開決定的步驟。

也應保留原始音訊，方便對照不確定句子。不要因為模型轉得快，就立即刪掉唯一來源。

錄音留在本機，輸出文件仍可能被分享

假設作者工具在電腦上完成辨識，之後你把逐字稿放進團隊雲端資料夾。這時音訊沒有離開設備，文字卻已經進入另一種分享流程。

因此，選擇本機工具時，可以把輸入與輸出分開安排。錄音保存在哪裡、逐字稿交給誰、摘要放哪個工作區，應依實際用途決定。

這不是質疑作者對本機處理的說明，而是資料在完成轉錄後仍有後續用途。工具的執行地點，不能代替使用者對文件分享的選擇。

對需要匿名的訪談，可以先在交付版本處理可辨識資訊，再分享給需要的人。原始錄音與完整稿則保存於能完成核對的範圍。

如果原聲立即刪除，錯字就難以修正，後續也不知道哪句是模型誤聽。至少在紀錄驗收完成前，應保留可供回查的來源。

因為結果可能隨更新改變，檔名與版本同樣有用。假設轉錄工具更新後重做同一段音訊，可以保留日期與工具版本，避免新稿覆蓋舊稿後失去比較依據。

要使用生成式助手摘要，也可以先交付已核對的文字。若不確定句子仍在，就標出需要人工回聽的位置，避免它被當成可靠待辦繼續傳播。

本機工具的優勢，應落在自己的工作條件裡。例如離線環境下能繼續處理錄音、或減少資料外傳步驟，才是可確認的使用價值。

若工作要求完整支援中文、多位講者或特定格式，則需要另外驗收。單一英文速度展示，沒有建立這些能力，不能把願望當成產品功能。

延伸閱讀：Perplexity Hybrid Compute 是什麼？Mac 本機 AI 如何保護敏感檔案，一次看懂運作方式與限制

EmbeddingGemma 語音轉文字的使用邊界

官方模型與第三方工具要分開辨識

Embedding Gemma Transcribe 是第三方作者對 Google 模型的實驗工具。官方模型資料與作者應用，應分開辨識。

中文會議需要自己的測試證據

作者介紹的訓練與詞彙主要為英文，不能據此保證中文表現。應先用自己的短音訊測試並核對。

用一段真實錄音，比速度與修正時間

這個實驗展示模型表示空間能延伸出新的用途。先挑一段適合測試的錄音，保留原聲核對關鍵詞，再把處理與修正時間一起比較，就能判斷是否值得納入工作。

想追蹤本機 AI 與實際工作測試，可以免費訂閱 AI 郵報，先保存一段可核對的錄音與比較紀錄。

資料來源

• Embedding Gemma Transcribe 原作者專案頁。
• Google 多模態 EmbeddingGemma 官方文件。