Mercury Voice 主打 320 毫秒開始回答:語音 AI 變快,不能只看模型那一段

Inception 推出 Mercury Voice,主打低延遲語言決策。讀懂第一答案片段與完整通話的差別,再比較工具、打斷處理與任務完成品質。

Share
Inception 官方 Mercury Voice 影片封面,黑色背景呈現麥克風圖示與名稱。
Inception 官方 Mercury Voice 發布素材。效能數字為廠商測試,完整語音流程仍需另行評估。 圖片來源:https://x.com/_inception_ai/status/2104974439314321660

語音助理最容易被感覺到的問題,是等待

Inception 九月二十九日發布 Mercury Voice,將它定位為針對語音代理調整的擴散式大型語言模型。大型語言模型是理解與產生文字的核心軟體,語音代理則把它與聽取、工具操作及發聲等能力組合起來。這次官方 X 公告吸引了數百個喜歡與數萬次觀看,主打在維持任務能力的同時降低迴答延遲。

官方發布文章公布,在其客服提示測試中,模型開始產生第一個答案片段的中位數時間約三百二十毫秒,較慢一端的九十五百分位約七百五十毫秒。中位數表示一半測量值位於它兩側,九十五百分位則提示較慢的情況。這些是廠商測試資料,本文沒有獨立重跑,也不把它寫成所有通話都會得到相同速度。

一個電話助理如果停頓太久,使用者可能以為沒有聽見,於是再說一次。助理開始回答時,雙方又可能同時說話。讓語言模型變快具有實際價值,但電話裡聽到的等待還包含其他步驟。理解整段流程,才能判斷這項更新會改善哪一部分。

Inception 官方 Mercury Voice 影片封面,黑色背景呈現麥克風圖示與名稱。
Inception 官方 Mercury Voice 發布素材。效能數字為廠商測試,完整語音流程仍需另行評估。 圖片來源:Inception 官方 X。

Mercury Voice 提供的是語言決策核心

官方表示,Mercury Voice 能推理、呼叫工具與遵循較長的系統指令,並提供不同推理投入設定。系統指令是預先交代工作規則的內容,例如客服範圍與需要人工處理的情況。工具呼叫則是模型請其他軟體取得資料或執行動作的方式。

發布文章說明,此模型已向企業客戶提供,使用者需要聯繫 Inception 取得存取。它可放進語音系統的語言模型位置,與既有平台或自建流程組合。這不等於所有個人帳戶已能直接開啟完整電話助理,也不代表模型本身包含每一項錄音、辨識、播音與電話功能。

名稱中的擴散式,指一種逐步修正候選內容的生成方法。它與常見逐個片段產生文字的方式有所不同,廠商用它追求速度與效率。對一般讀者而言,最有意義的問題仍是:同一任務能否正確完成,回覆是否更快,以及錯誤時是否能恢復。生成方式提供技術背景,不能單靠名稱推算成效。

官方也公布了模型價格與推出優惠,但語音服務通常還有其他費用。即使語言模型的文字計費較低,電話、語音辨識、聲音生成與工具服務仍可能另外計算。本文聚焦產品能力與評估方法,總成本需要依完整方案與當下報價確認。

一次回覆,至少經過四段工作

第一段是聽取。系統要收到聲音,判斷是否正在說話,再把內容轉成可處理的文字。環境雜音、口音、專有名詞與網路中斷,都可能讓這一段出現誤解。若它聽錯日期或商品名稱,後面的模型再快,也可能很快回答錯誤問題。

第二段是理解與決策。語言模型根據對話、規則與可用資料,決定下一步要回答、追問、查詢工具,還是轉接人工。Mercury Voice 的低延遲資料主要與這一段有關,不能直接當成從使用者說完到耳朵聽見聲音的完整測量。

第三段是取得外部資料或完成操作。查訂單、確認預約與讀取庫存,都可能需要其他系統。工具回覆較慢時,模型本身加速不一定能消除等待。系統也需要知道資料是否最新,以及一次查詢失敗之後該停止、重試或請人協助。

第四段是把文字變成聲音並播放。發音、語速、分段與音訊傳輸都會影響感受。文字第一個片段已生成,不表示使用者已聽見第一個字。比較產品時,應分別記錄各階段,最後再看完整通話的結果。

為什麼第一個答案片段,比第一個推理片段更有意義

有些模型會先產生內部推理或工作描述,再開始回答。對開發者而言,第一個輸出很早出現,可能代表系統已經運作;對電話使用者而言,只有可播放的答案出現,才會感覺到助理開始回應。因此,計時起點與終點需要清楚說明。

Mercury Voice 官方強調第一個答案片段的時間,這比只看任何形式的第一個輸出更貼近語音應用。不過,這仍然是語言模型的一段測量。若系統之後要等待工具或合成聲音,實際聽感可能不同。資料有用的前提,是知道它測量了什麼。

平均或中位數也不足以描述所有情況。使用者連續通話幾分鐘,可能遇到一兩次特別長的等待。那些較慢的情況往往最容易打斷對話,因此應同時看長等待出現的頻率與原因。不同任務混在一起時,還應分辨簡單問答與需要工具的工作。

比較測試應保持條件相近。提示長度、推理設定、網路位置、工具與是否重用先前內容,都可能改變時間。如果一邊測單句問答,另一邊測完整客服工作,就不適合直接用一個倍數判斷誰比較好。官方基準提供起點,實際部署需要自己的資料。

速度與正確完成,需要一起記錄

語音助理可能很快回答,卻沒有完成使用者想做的事。以一個假設的訂單查詢為例,回答「我幫你看一下」很快,但若後續沒有取得正確訂單狀態,任務仍未完成。測量應包含正確理解、取得資料與給出可確認結果,而不只看開口時間。

另一個例子是更改預約。系統應先確認對象、日期與可用時段,再在授權範圍內執行。新設定是否真的保存,需要從正式系統回讀。這裡只是工作流程例子,沒有描述本模型已在某家服務完成相同操作。

評估品質可以記錄需要使用者重說的次數、日期或名稱誤解、工具失敗,以及轉人工是否清楚。這些指標比單一評測分數更接近使用感受。若某個模型快很多,卻造成更多重複與更正,整段通話可能沒有縮短。

也應記錄沒有成功的情況。資料缺漏、權限不足與聽不清楚,具有不同原因。系統若能清楚告訴使用者下一步,失敗仍可能被妥善處理。若它一直猜測或反覆說請稍等,快速模型也無法讓體驗變好。

打斷、補充與改口,是自然對話的一部分

電話使用者不會每次都說完整且結構清楚的句子。有人說到一半改日期,有人補充條件,也有人在助理回答時插話。語音系統需要辨識新的資訊是否改變原先任務,並停止不再適用的回覆。這與文字聊天一次收到一段訊息的節奏不同。

假設使用者先說想訂週五,接著改成周六,系統不能只保留最早日期。若舊任務已經進入工具步驟,還需要確認是否取消或替換。對話中修正要求,應能傳到執行層,不能只在文字摘要中反映。

打斷時也有重複操作的問題。助理沒有播完一句話,不代表後臺動作沒有發生。重新提出相同要求之前,應檢查原本工作的狀態,以免重複建立訂單或預約。聲音播放與任務執行是兩條不同的進度,需要一起管理。

模型低延遲可以讓系統更早回應新的資訊,但能否正確取消、恢復與讀取狀態,還取決於整合設計。把這些情況加入測試,才能判斷產品是否適合真正的多人、長時間對話,而不只適合一段順暢示範。

官方圖片與影片,先用來理解產品定位

本文搭配 Inception 官方 Mercury Voice 發布圖片與影片。圖片呈現產品名稱,影片介紹低延遲語音應用方向。它們是官方發布素材,可以幫助讀者認識定位,不能單獨證明所有語言、噪音環境與工具流程都具有相同品質。

觀看時應留意對話是否需要外部資料、是否出現打斷,以及展示的任務是否已完成。若短片只顯示流暢來回,仍需要另外確認遇到缺漏與錯誤時的行為。展示內容越貼近自己的工作,越有助於提出合適的評估問題。

官方發布文章中的客戶案例,也屬於公司與客戶提供的描述。不同團隊使用的電話與工具流程可能不同,因此不應把一家的延遲改善直接套成另一家的預期數字。本文將這些內容視為應用背景,實際比較仍需要同樣條件下的測量。

0:00
/0:00

Inception 官方 Mercury Voice 發布影片,介紹低延遲語音代理模型方向。 影片來源:Inception 官方 X。

企業評估,可以先從低後果任務開始

一個合適的起點,是使用公開資料回答營業時間、服務範圍或已確認的常見問題。先檢查語言、口音、停頓與轉接,再逐步加入真實工具查詢。這樣可以分辨問題來自語音辨識、語言決策還是資料介面,而不是一次把所有服務接在一起才發現哪裡不順。

測試資料也應儘量減少不必要的個人資訊。驗證營業時間回答,不需要顧客完整檔案。到了確實需要身分與案件資料的任務,才依正式流程提供必要內容。錄音、逐字稿與工具紀錄如何保存,應該在使用之前說明清楚。

需要正式變更的工作,則應安排確認步驟。訂位、修改訂單或其他有後果的操作,先讓使用者聽見關鍵內容,再執行並確認狀態。速度改善的目標應是減少無效等待,不應省掉必要的檢查與授權。

對預算而言,可以把一次完成任務的總費用與人工接手時間一起看。文字模型的費用只是其中一部分,重試、長通話與轉接都會改變成本。一個較快但經常返工的方案,未必比稍慢卻穩定完成的方案更經濟。

怎麼讓速度報告更容易理解

報告可以先說明測試任務、語言、樣本範圍與計時方式,再列模型階段與完整通話階段的結果。這樣閱讀者知道數字對應哪個過程,也能判斷是否與自己的需求相近。缺少這些條件的「快幾倍」,往往無法用於實際決策。

結果還應註明版本與推理設定。模型更新、規則變更或工具遷移,都可能改變速度。保留這些資訊,能讓後續比較更公平,也幫助團隊了解改善來自哪個環節。

最後應該留下異常說明。某一次等待很久,究竟是模型推理、工具查詢還是聲音播放?如果能定位原因,就可以針對相關部分改善。只給出一個總平均,雖然容易宣傳,卻不容易支持工程與營運調整。

常見問題

Mercury Voice 是直接產生聲音的模型嗎?

官方將它描述為針對語音代理調校的語言模型,放在理解與決策的位置。完整語音系統還需要聽取、工具與聲音播放等部分。名稱中有 Voice,不應據此推論每個環節都由同一模型完成。

320 毫秒代表使用者一定在這個時間聽到回答嗎?

這是官方測試中第一答案片段的模型時間指標。實際聽到聲音還包含其他階段,且不同任務與環境會改變結果。完整對話延遲需要另外測量。

個人開發者現在一定能直接使用嗎?

官方發布說明向企業客戶提供存取,並要求聯繫取得存取。具體資格、方案與介面應以當下正式說明為準,不能把一般平台入口視為所有帳號已取得該模型的證據。

結語:真正的快,要讓整段對話少等也少返工

Mercury Voice 把語音應用對速度的要求帶到語言模型本身,提供了值得關注的官方測試與企業入口。讀者評估時,應把聽取、決策、工具與播音拆開,再確認完整任務的品質。先測清楚一項實際工作,才能知道低延遲真正改善了哪一段體驗。

官方資料來源