Meta AI 發表 GSLM2 多流語音基礎模型:不靠文字轉譯直接用聲音思考,口語 AI 為何一直追不上文字模型?
Meta AI 公開 GSLM2 多流語音表徵與生成式口語語言模型,導入 SpidR 2.0 編碼器並以高達 600 萬小時音訊訓練 65 億參數模型,將口語與文字模型的效能差距縮小兩個數量級。
許多人以為語音助理之所以能聽懂人話,是因為 AI 像人類一樣直接用聲音在思考,但事實上多數系統只是先把聲音轉成文字、想完再唸出來。
Meta AI 基礎研究團隊近期正式公開並開源了 GSLM2 多流語音表徵與生成式口語語言模型框架,直接挑戰這個持續多年的技術瓶頸。
研究團隊導入全新的 SpidR 2.0 編碼器,並將訓練資料規模推進到驚人的 600 萬小時純音訊、模型參數放大至 65 億,成功讓純口語模型與文字語言模型之間的效能差距大幅縮小兩個數量級。
這項突破之所以重要,是因為世界上有大量語言缺乏完整的書寫系統,而且人類對話中的語氣、停頓、猶豫與情緒資訊,在轉譯成文字的瞬間就會被大量抹除。
如果口語模型能不依賴文字轉譯就學會在聲音空間裡建立深層語意與文法結構,未來的語音 AI 將不再只是「會唸稿的文字模型」,而是真正具備原生聽說能力的溝通系統。
要看懂這項研究為何能打破語音模型的效能瓶頸,得先從口語 AI 長期落後文字模型的兩個死穴說起。
為什麼口語 AI 模型一直追不上文字語言模型
在文字模型已經展現出驚人推理與寫作能力的同時,直接從聲音訓練的生成式口語語言模型卻長期停留在語意連貫度不足、擴展效率低落的困境中。
Meta AI 在 GSLM2 研究中明確指出,造成這道巨大鴻溝的元凶並不是算力不夠,而是過去模型處理聲音表徵的方式存在兩個根本性的結構限制。
第一個死穴:離散語音單元的語言品質太差
文字天然就是高度濃縮的離散符號,每一個字詞都承載著清晰的語法與語意邊界,模型只要學會預測下一個字,就能逐步掌握邏輯。
然而聲音是連續的物理波形,包含了背景雜訊、說話者音色、房間回音以及語速變化。過去的自監督語音編碼器在將連續音訊切分成「離散語音單元」時,往往混雜了太多與語意無關的聲學細節,導致模型把大量算力浪費在學習音色或氣音,而非語言本身的文法結構。
第二個死穴:單一資料流造成的資訊瓶頸
另一個關鍵問題在於「單一流瓶頸」。過去許多口語語言模型只依賴單一序列的離散語音單元來同時代表聲音與語意。
這就像強迫模型用同一支筆、同一種記號同時記錄對話的字面意思、說話者的情緒高低與音節長短,結果就是深層語意與表層聲學特徵互相干擾。
雖然音訊編解碼器領域早就流行使用多組編碼簿來提升音質,但過去多數做法只為了還原好聽的聲音,並沒有針對高階語意與語言結構進行分層設計。
延伸閱讀:Google TPU Sync 開源:AI 等第一個字,為何先要搬好 KV 快取?

GSLM2 與 SpidR 2.0 如何打破口語模型的規模天花板
為了解決上述兩大瓶頸,Meta AI 設計了一套從編碼器到生成模型完全重新構思的 GSLM2 架構,讓模型能夠同時在不同抽象層次上理解並生成聲音。
SpidR 2.0 編碼器:把聲音拆解成多層次的語意積木
GSLM2 的核心底座是全面升級的 SpidR 2.0 編碼器。它透過自監督學習搭配可微分的預測頭,直接從未標記的原始音訊中萃取出高品質的離散語音單元。
與過去只吐出單一層級代號的編碼器不同,SpidR 2.0 能同時捕捉多個不同抽象層級的資訊。底層單元保留了清晰的發音與節奏特徵,而較高層級的單元則自動收斂出接近音素與詞彙語意的純淨表徵。
多流口語語言模型架構的運作邏輯
拿到多層次的離散語音單元後,GSLM2 採用了一套「多流口語語言模型」架構來聯合建模,整個系統由三個關鍵組件協同運作。
首先是共享的時間骨幹網路,負責在時間軸上統一追蹤整段對話的上下文脈絡。
其次是針對不同層級資料流設置的專屬預測器,讓各層級分別專注於自己擅長的任務,避免語意推測與聲學還原互相打架。
最後則是負責捕捉跨流相依性的自回歸預測頭,確保模型在生成下一毫秒的聲音時,高層次的語意概念與低層次的發音節奏能夠嚴絲合縫地對齊。
| 架構比較項目 | 傳統口語語言模型 | Meta AI GSLM2 架構 | 帶來的技術突破 |
|---|---|---|---|
| 語音編碼器 | 單層離散化自監督編碼器 | SpidR 2.0 多層級編碼器 | 顯著提升語音單元的語言與語意純度 |
| 資料流設計 | 單一序列強行承載所有特徵 | 多流共享骨幹加專屬預測器 | 解決聲學細節與深層語意互相干擾問題 |
| 跨層級協調 | 缺乏明確跨層級關聯建模 | 跨流自回歸預測頭 | 確保生成語音兼具文法邏輯與自然韻律 |
| 最高訓練規模 | 通常受限於數萬至數十萬小時 | 最高 600 萬小時音訊與 65 億參數 | 驗證純語音模型同樣具備數據擴展律 |
延伸閱讀:Daisyflow 是什麼?Daisytuner 獲 600 萬歐元種子輪融資,跨晶片本機 AI 推論一次看
600 萬小時音訊與 65 億參數:把差距縮小兩個數量級的實測意義
在大型語言模型的世界裡,只有架構創新還不夠,一個模型架構是否真正優秀,必須看它在大規模資料與參數擴展下能否持續變強。
Meta AI 將 GSLM2 的訓練規模一路拉高到 600 萬小時的音訊資料,並將模型參數量擴展到 65 億參數,徹底測試純口語模型的擴展極限。
關鍵語意與文法基準測試全面躍進
在沒有任何文字轉譯輔助的條件下,研究團隊使用語音領域最核心的三項基準測試來檢驗 GSLM2 的語言能力,分別是測試詞彙辨識的 sWuggy、測試文法正確性的 sBLIMP,以及測試上下文語意連貫度的 tSC。
實驗結果顯示,無論是在朗讀語音還是更貼近真實生活的自然對話語音領域,GSLM2 的數據擴展效率都遠超過去模型,將口語模型與文字語言模型之間的效能落差足足縮小了兩個數量級。
這意味著過去口語模型需要百倍資料量才能勉強追上的語言理解能力,現在透過 GSLM2 的多流架構就能以更合理的運算成本達成。
全面開源對全球語音研究與低資源語言的價值
Meta AI 已經在 GitHub 公開釋出了 GSLM2 的訓練程式碼與預訓練模型權重,這對學術界與開源社群是一份重量級禮物。
過去只有少數財力雄厚的巨頭能負擔大量人工語音轉文字標註與多模態對齊成本;有了 GSLM2 的開源基礎,研究人員可以直接利用大量未經標註的廣播、Podcast 與自然對話錄音來訓練高品質語音模型。
對於全球數千種缺乏標準文字或拼寫規範的少數族群語言與方言而言,這套純聲音學習路徑等於打開了一條不需要文字中介的數位保存與即時翻譯捷徑。
從研究突破到產品落地:GSLM2 還需要跨越哪些門檻
儘管 GSLM2 在純口語語言理解上樹立了新的里程碑,但把實驗室裡的 65 億參數基礎模型變成消費級產品,依然存在幾項現實挑戰。
即時雙向對話延遲與算力成本
多流架構雖然大幅提升了語言品質,但同時處理多條資料流與跨流自回歸預測,對推論時期的記憶體頻寬與延遲控制提出了更高要求。
未來必須搭配模型量化、蒸餾壓縮以及專門的邊緣推論優化,才能讓這類原生多流語音模型在手機或智慧眼鏡上達成人類毫無察覺的低延遲互動。
事實正確性與工具呼叫對齊
目前純文字模型之所以能勝任企業工作,很大程度歸功於龐大的網頁文字知識庫與精準的程式介面呼叫能力。
純口語模型在沒有文字輔助下雖然掌握了流暢的文法與語氣,但要如何精確記憶冷門事實、查詢外部資料庫或執行精準的結構化指令,未來仍需與文字知識空間進行更巧妙的混合對齊。
語音基礎模型的產業應用前景:從智慧穿戴到跨文化對話
當這套多流口語模型架構證明純聲音學習同樣擁有龐大的成長潛力後,消費電子與企業服務領域正迎來全新的互動介面重塑機會。
智慧眼鏡與無螢幕穿戴裝置的原生大腦
在智慧眼鏡、無線耳機或車載語音系統等沒有大螢幕的硬體載具上,使用者期待的是像真人朋友一樣自然插話、能聽出反諷與急迫感、而且毫秒級回應的語音夥伴。
傳統先轉文字、再推論、最後語音合成的三段式管線,往往造成一兩秒的尷尬空白並丟失語氣線索;原生多流架構則讓裝置有機會直接從聲學訊號理解情緒並同步組織口語回應。
客服中心與語音情緒分析的資料紅利
全球企業客服中心每天累積數百萬小時的真實通話錄音,過去受限於方言口音與專業術語,語音轉文字的辨識錯誤往往導致後續文字分析失準。
透過導入這種多層級自監督語音表徵技術,企業能直接從原始對話音訊中提取客訴情緒轉折與語意脈絡,大幅減少人工標註成本,並更精準地預判客戶流失風險。
聲學隱私與語音版權治理的新課題
不過,當開源社群能輕鬆取得直接從 600 萬小時真實音訊訓練出的語音基礎模型時,聲音複製與聲紋隱私的治理問題也隨之浮上檯面。
過去文字模型只要過濾敏感詞彙就能達成基本安全防護,但純口語模型必須在編碼器與生成端加入更細緻的聲紋浮水印與身分驗證機制,防止惡意人士利用低成本語音生成技術進行電話詐騙或偽造名人發言。
這意味著語音安全防護與模型本身的多流架構升級必須同步前進,才能確保這項開源突破真正造福日常溝通體驗。
常見問題
Meta AI 發表的這套多流口語框架到底是什麼模型?
它是 Meta AI 基礎研究團隊開源的新一代多流語音表徵與生成式口語語言模型框架。這套架構能不經過語音轉文字的中介步驟,直接從純聲音資料中學習語言文法、詞彙結構與對話連貫性。
SpidR 2.0 編碼器在整套架構裡扮演什麼角色?
SpidR 2.0 是這套系統的核心語音編碼器,負責把連續的聲音波形轉換成高品質、多層級的離散語音單元。它改善了過去語音單元夾雜過多非語意聲學雜訊的問題,讓後續的語言模型更容易學到真正的語言結構。
該模型的訓練規模與測試成績有多驚人?
Meta AI 最高使用 600 萬小時的音訊資料訓練出 65 億參數的 GSLM2 模型,並在 sWuggy、sBLIMP 與 tSC 等語音基準測試中展現極佳的擴展效率,把純口語模型與文字語言模型的效能差距縮小了約兩個數量級。
這個開源模型對台灣或一般開發者有什麼實際用途?
由於研究團隊釋出了訓練程式碼與模型權重,開發者可以針對台灣本地多語夾雜、台語或客語等缺乏大量標準逐字稿的口語場景進行預訓練與微調,打造更自然、保留語氣情緒的原生語音互動應用。
結語
Meta AI 透過 GSLM2 與 SpidR 2.0 證明了一件關鍵的事:口語 AI 並不需要永遠當文字模型的附庸,只要解決了離散表徵純度與多流架構瓶頸,純聲音模型同樣能展現出驚人的數據擴展律。
這項開源成果特別適合專注於多語種語音助理、方言與無文字語言保存、自然對話情緒理解,以及想擺脫傳統語音轉文字管線延遲的 AI 研究團隊與語音應用開發者深入研究與微調。
相反地,如果你的業務核心需要嚴格遵循精準法條文字、複雜程式碼生成或高精度外部系統介面呼叫,現階段直接採用成熟的文字多模態模型搭配傳統語音識別管線,依然比純口語基礎模型更穩定可控。
想持續追蹤 Meta AI 等頂尖實驗室的最新開源架構、算力推論優化與技術實戰解析,歡迎立即訂閱免費 AI 郵報,每週精選最值得關注的技術突破送到你手中。