Turing TTS 新評測：喜歡 AI 聲音，為何仍能分辨真人？
Turing TTS讓真人與AI讀同一句話，十個系統兩千票的整體誤認率為6.1%。解析Fool Rate分母、音色與錄音限制，說明為何自然度偏好不等於分不清真人。
Turing TTS 提出一個問題：AI 語音愈來愈好聽，是否表示聽的人已經分不清真人？若評分只是在兩個合成聲音間挑一個，答案告訴我們偏好，卻沒有直接回答離真人還有多遠。
Voice Arena 共同創辦人 Shobhit Banga 在 2026 年 10 月 30 日介紹 Turing TTS，改讓每一組音檔都包含真人和 AI，兩者說完全相同的文字，再請聽者挑出真人。
這使題目有了可核對的答案。AI 被誤認為真人的票數比例，稱為 Fool Rate，也就是誤認率。它測的是這個盲測下的混淆程度，並不是聽者喜不喜歡該音色。
首版十個系統共取得兩千張有效票，整體誤認率為 6.1%，最高的單一系統為 10.5%。這些數字低於二選一亂猜的 50%，顯示這組錄音仍讓聽者找到相當多線索。
但真人錄音與合成音檔的房間聲、麥克風或呼吸可能不同，測試也只有美式英文單句和少數音色。因此，不能把結果變成所有情境都能識破 AI 的保證。
對正在選語音服務的讀者，更有用的問題是要優先自然、清楚、低延遲，還是難以分辨真人。先知道兩種評測各問了什麼，才知道這次研究補上哪一塊證據。
Turing TTS 如何把「好聽」改成「辨認真人」？
偏好測試沒有標準真人答案，Turing TTS 則在每一組保留一段真人錄音。前者問的是兩個 AI 聲音誰比較自然，後者問的是哪一段真由人說出來。即使聽者覺得兩個合成聲音同樣自然，也不能推導它們都接近真人。
這個差別正是研究者發起評測的原因。Voice Arena 的美式英文語音偏好榜中，有六個系統的分數相距不到三十個 Elo 點，排名區間也大量重疊。
Elo 是由成對比較估計相對位置的分數。這裡的接近，表示偏好難分，沒有直接量出與真人的距離。
新測試讓聽者看見句子，再聽標為第一段與第二段的錄音。真人出現的順序隨機安排，約一半放前、一半放後。兩段都必須播放完才能作答，之後還可重聽，沒有時間限制。
聽者不會看見系統或音色名稱，也不會在答完後得知是否選對。這讓下一次判斷不必依靠品牌印象或前一題的回饋，但也意味結果屬於仔細比較的測試，不能直接套到滑手機時偶然聽見的一小段聲音。
研究借用圖靈模仿遊戲的名稱，實際做的是錄音辨別，沒有讓受測者和模型多輪對話。聲音能否在這裡被辨認，和系統是否理解問題、能否完成通話工作，是不同的能力。
因此，偏好榜和誤認率可以一起讀，卻不能互相替代。自然度的相對進步值得觀察，真人對照則替「像人」這句話加上一個更明確的測試範圍。
Drop 2/15
— Shobhit Banga (@shobhitbanga) October 30, 2026
Are we actually measuring the things we ultimately want our voice AI models to achieve?
The best AI voices are becoming hard to tell apart.
From each other. Not from humans.
🚀 Introducing Turing TTS: an evaluation that measures how often human listeners mistake… pic.twitter.com/iCRqnysRdX
兩千張票怎麼來，分母會改變什麼？
兩千張有效票是十個系統共用參考句、分別受評後的加總。首版使用一百句真人對話，每個系統都合成同一批句子，每組系統與句子由兩位不同評分者判斷，因此每個系統有兩百張計分票。
真人參考來自四十三位說話者，一百句中男女聲各五十句。每個系統則只選一個女聲和一個男聲，依真人說話者的性別配對。
這有助固定比較條件，卻無法代表每個供應商整份音色目錄。
作者先由語言學家核對逐字稿，再把同一份文字交給語音 API，也就是程式可呼叫的合成服務。音檔採供應商預設設定，沒有風格提示或聲音複製，每句只生成一次，沒有從多次結果挑最好的一次。
錄音處理一致，仍不等於錄音環境相同
所有音檔都轉為每秒一萬六千次取樣的單聲道 WAV，並調整到相同整體響度。這減少了單靠音量就能猜答案的機會，但作者沒有修剪靜音、去噪、加背景音或改變等化設定。
真人的房間聲、麥克風特性與呼吸，因此仍可能成為線索。若聽者抓到這些差異，他確實選對了真人，卻不能把所有差距都歸因於合成模型的語調。評測方法明列這項限制，而非聲稱已消除錄音條件影響。
誰能留下評分，也會影響結果
有效票還有品質檢查。作者在評分者的正式題目之間混入已知答案的檢查題，約每五至六個正式題目出現一題。若未通過，該評分者所有票都被移除，並由其他人重新評分，維持每個系統的計分票數相同。
作者也檢查至少作答十題、但誤認率高於四分之一或完全為零的評分者。被標記不表示立刻算錯，而是對他與第二位評分者意見不同的題目，再請沒聽過該組錄音的第三人獨立判斷。
只有第三人在這些分歧題中，超過一半支持第二人時，被標記者的票才會移除並重評。
這項做法說明，兩千票是經過規則篩選的結果，不能當成完全未篩選的一般民眾投票，也不應隱去篩選設計後只引用最高名次。
同一位評分者不會聽同一句話第二次，也不會連續聽到同一個合成音色，錄製真人參考的人則不能參加評分。這些安排減少背答案或認出自己聲音的影響，讓比較較集中在眼前兩段音訊。
完成選擇後，受測者才填信心與線索。這使主結果先固定在辨識答案，再用後續回饋解釋可能原因，避免把「很有把握」直接當成正確。對引用這份研究的人而言，數字與評分規則應放在一起看。
句子也排除了笑聲等非語音聲響，以及強烈情緒或高度表演式說話。這讓首版更集中於一般對話，卻留下情感演出、有聲故事與歌唱等未涵蓋情境。固定相同句子讓系統之間較能比較，也讓參考錄音的選擇格外重要。
6.1% 和 10.5% 各代表什麼？
整體 6.1% 是十個系統合併後的誤認票數，10.5% 則是本次最高的單一系統比率。整體有一百二十二張票把 AI 選成真人，除以兩千張有效票，才得到 6.1%。不能把它改寫成只有 6.1% 的人會受騙。
原因是同一位評分者可以判斷多組錄音，而一次判斷也不代表這個人的永久辨識能力。作者限制任何一位評分者不得佔超過全部計分票的 3%，避免少數人的選擇過度主導結果。
各系統誤認率介於 3.0% 至 10.5%，所有系統的區間上界都低於 25%。這表示在本次方法與樣本下，聽者仍能相當可靠地挑出真人，而不是說模型完全無法產生讓人認錯的聲音。
區間是在提醒哪一種不確定性？
整體誤認率的 95% 信賴區間為 4.4% 至 8.1%。作者採用重抽樣方法：反覆抽取評分者，再重新計算結果，一共做一萬次，以觀察不同評分者組合可能帶來多大變化。
重抽的是評分者，而非單張票，目的是保留同一個人多次作答的關聯。
然而，這個區間沒有同時涵蓋換掉一百句參考錄音的影響。若改用另一批句子或更強情緒的聲音，排名仍可能不同。
本次前三個系統的排名區間都包含第一名，因此只看最高的小數點不足以宣布穩定贏家。假設兩個系統在各兩百票裡只差幾次誤認，這是本文用來理解樣本的假設例子，不應被放大成所有使用情境都有明確領先。
作者也會依音色性別、句長與聽者信心提供篩選，但這些是探索性結果。篩選後留下的錄音和評分者可能不同，不能把某個小格子的高分挑出來，當成整個系統的普遍表現。
為何自然度相關，仍不能當作同一個榜？
九個共同受測系統顯示，自然度偏好較高的聲音往往也比較容易被當成真人。作者報告兩種排名的 Spearman 相關係數為 0.85。這種指標觀察相對排序是否一起變動，不表示兩個量測變成同一件事。
這個關係的 95% 區間為 0.25 至 0.92，範圍仍寬。只有九個共同系統，支持的是值得繼續研究的方向，不能解讀成把偏好分數提高一定幅度，就能保證誤認率提高多少。
偏好榜前六個系統合併誤認率為 7.2%，其餘三個為 4.0%，作者給的差為 3.2 個百分點。這提供群組層次的對照，沒有證明任何一個新音色都會遵守同樣差距，也不是每位聽者都較喜歡前六名。
延遲更不能從這個關係順勢推出。評測雖把收到第一段聲音的等待時間放在旁邊比較，但作者明說，目前系統數量不足以建立關係。好聽、像真人與開始播放快，應分別有證據。
聲音被認出的原因也值得看，卻要保留問法限制。受測者可勾選暴露 AI 的線索。若該票其實把 AI 認成真人，勾選的就可能是對真人錄音的誤判，而不是模型真的具備某種缺陷。
這提醒我們，診斷回饋和主要得分是兩個層次。作者讓信心與線索不影響主榜，以免主觀解釋又反過來改寫哪一票算正確。關係支持同時看兩種指標，並沒有證明提升自然度就必然提高產品成功率。
選語音產品時，這份研究應放在哪裡？
如果目標是讓使用者聽清楚，能不能騙過聽者只是其中一個問題。作者也明說，Turing TTS 並非要宣布新的唯一標準，更不主張每一種語音系統都應追求讓人以為是真人。
以一個假設的客服取號通知為例，使用者需要聽對號碼、地點與下一步，等待過久也可能打斷操作。即使某種聲音較不容易被誤認真人，只要內容清楚、播放及時，仍可能符合工作目的。這是用途分析，不是本刊測過任何供應商的結果。
若換成故事旁白，長段落的節奏、角色感情和前後一致性可能更重要。首版刻意排除強烈情緒，也只測單句，因此無法替這類需求直接選出最佳服務。把單句辨識成績拿去保證長篇敘事，會跨過原研究的範圍。
台灣讀者還要保留語言差異。本次真人與評分者以美式英文為條件，沒有測台灣華語、台語或中英混用。不能因一個英文音色進榜，就推定其中文數字、專有名詞與語氣同樣可靠。
更實際的用法，是把這份研究當作提醒：評分問題不同，得到的好壞也不同。先確認自己的交付需要哪些表現，再看供應商是否提供相同語言和情境的證據，而不是把一個榜單的單一名次當成全部。
把任務需求放在前面，才不會為了較像真人而忽略理解、等待時間和實際語言條件。這也是本次評測最有用的貢獻：替「已經很像人」這句常見描述，增加可以追問的測試設計。
Turing TTS 常見問題
Turing TTS 是新發表的語音模型嗎？
不是。它是 Voice Arena 推出的真人對照評測，首版涵蓋十個文字轉語音系統。官站資料標示十月二十七日的榜面日期，原作者則在十月三十日公開介紹。兩者不應混成同一天發布新模型。
誤認率愈高，就代表聲音愈好嗎？
只代表在這組盲測中，更常被當成真人。若用途重視清楚傳遞內容、成本或快速回應，還要看其他指標。最高系統為 10.5%，反映的是該套音檔與計分票，不能換成任意使用者或任意場景的受騙機率。
為什麼亂猜是 50%，不是 100%？
每一題有兩段錄音，而且確定一段真人、一段 AI。完全隨機挑選時，選中 AI 當真人的期望比例就是一半。這個基準屬於本次二選一設計，不能直接移用到只有一段聲音的判斷。
能用它判斷一段可疑通話是不是 AI 嗎？
不能。它沒有替任意新音檔提供鑑識工具，也沒有測電話線壓縮、背景雜音或即時多輪交談。評測結果可協助理解系統在受控條件下的差距，不能當成個別通話真偽的證明。
這份研究替語音評估增加一種對照，並非替所有情境宣布答案。只有當語言、音色與錄音條件接近時，才有理由把結果用在自己的判斷。
延伸閱讀
原始資料來源
想持續看懂語音模型與 AI 評測的實際差異，歡迎免費訂閱 AI 郵報。
