Microsoft 專利申請:直播時 AI 即時改寫說話內容,嘴型也要跟著改?

Microsoft 專利申請 US 2026/0341309 A1 描述直播中 AI 即時換字並重畫嘴型。整理請求項、近即時 1 到 10 秒的定義,並說明專利與 Teams Interpreter 實際產品的差別。

Share
US 2026/0341309 A1 專利附圖 3 的流程圖:從攝影機與麥克風取得直播影音,經 AI 代理程式掃描、依使用者資料辨識字詞、生成式 AI 替換、產生音訊轉場、修改影像,最後在顯示裝置呈現
USPTO 公開的 Microsoft 專利申請 US 2026/0341309 A1 之圖 3,示意近即時 AI 強化直播影音的六個步驟,為專利附圖,並非產品畫面。 圖片來源:官方原文。

Microsoft 專利申請案 US 2026/0341309 A1 在 2026 年 10 月 29 日公開,內容是讓 AI 在直播時即時換掉說話者的用詞。

社群貼文的說法是 Microsoft 申請專利,AI 可以在直播中即時改寫人們說的話,所以聽起來像產品已經在開發。

但美國專利商標局(USPTO)公開文件的首頁印的是「專利申請公開」,不是核准的專利,截至 2026 年 11 月 9 日也沒有查到 Microsoft 宣布對應的產品。

文件的做法是掃描直播的影像與聲音,依參數與使用者(多半是觀眾)的資料挑出要改的字,用生成式 AI 換字,部分情況下還重畫嘴型,再在幾秒內,或沿用直播既有的延遲時間內播出。

生成式 AI 是能產生新語音與新畫面的模型。文件的目標是讓替換處前後有平滑的轉場,但沒有提供效果數據,實際看起來是否自然,無從判斷。

這件事值得關心,因為直播沒有第二次機會,畫面與聲音一旦能被改寫,觀眾看到的就可能和說話者實際說的不同。

文件的請求項是申請人主張的保護範圍,其中依附在請求項 1 之下的附屬請求項 14 寫到,可以把原始錄下的影音當成「ground truth」保存,供日後參考。這代表播出內容與原始內容可能有出入,是文件預設的情境。

我會把這份文件當成 Microsoft 研究方向的線索,不當成產品規格,先分清文件寫了什麼、沒寫什麼,再判斷它離一般使用者有多遠。

Microsoft 專利申請公開了什麼?

這是 Microsoft Technology Licensing, LLC 提出的專利申請公開文件,編號 US 2026/0341309 A1,並不是已核准的專利。

文件首頁載明申請日為 2025 年 4 月 29 日,公開日為 2026 年 10 月 29 日,兩個日期相隔 18 個月。申請號是 19/193,093,發明人列為 David Callaghan 與 Dinesh Kumar。

文件標題可譯為「直播活動的影像或擴增實境呈現之近即時 AI 強化」。標題用的是「強化」,社群貼文用的是「改寫」,兩種說法描述的是同一套流程,但語氣差很多。

專利申請與核准專利差在哪裡?

文件首頁左上寫的是「Patent Application Publication」,也就是專利申請公開。公開只表示內容被印出來讓外界查閱,所以並沒有說明審查結果。

請求項是申請人主張的保護範圍,最後能保留多少,要看審查機關怎麼處理。因此「Microsoft 申請專利」有文件可以佐證,「Microsoft 取得專利」截至 2026 年 11 月 9 日查不到來源。

第三方專利追蹤網站 Patentlyze 的頁面寫著,審查官在 2026 年 7 月 29 日提出異議。USPTO 公開出版品本身不含審查紀錄,案件狀態需到 USPTO Patent Center 查詢,本文未取得,所以只把它當成第三方說法,未獲證實。

既然只是申請階段,更需要知道文件實際描述的運作方式,這才是判斷它可不可能上線的起點。

US 2026/0341309 A1 專利附圖 3 的流程圖:從攝影機與麥克風取得直播影音,經 AI 代理程式掃描、依使用者資料辨識字詞、生成式 AI 替換、產生音訊轉場、修改影像,最後在顯示裝置呈現
USPTO 公開的 Microsoft 專利申請 US 2026/0341309 A1 之圖 3,示意近即時 AI 強化直播影音的六個步驟,為專利附圖,並非產品畫面。 圖片來源:官方原文。

近即時改寫怎麼運作?文件的六個步驟

文件的圖 3 把直播版本拆成六步,從掃描影音到把改好的版本送上顯示裝置。

第一步,AI 代理程式在近即時狀態下掃描直播的影像與聲音。文件把 AI 代理程式定義為能自主執行任務、追求目標或做決策的軟體系統。

第二步,依使用者的資料找出要修改的口語字詞。第三步,由生成式 AI 把這些字換成替代字。第四步,生成替代字前後的聲音轉場,避免聽起來斷裂。

第五步,修改影像以配合替代字與聲音轉場。第六步,把替換過的影音部分在顯示裝置上呈現。

這六步是文件示意的流程圖,並不是 Microsoft 公布的產品架構,所以也沒有任何效果測試數字。

「近即時」到底是幾秒?

文件在說明中定義,近即時是指幾秒內,例如 1 到 10 秒,或是現代直播為了人工調整而使用的延遲,也就是「live feed buffer」。

「live feed buffer」就是直播刻意保留的緩衝時間。文件舉的人工調整例子是濾掉髒話。所以「近即時」有兩種讀法:AI 在幾秒內處理,或借用直播本來就有的緩衝時間。文件沒有寫明實際採用哪一種,也沒有提供實測延遲。

這對讀者很重要,因為「近即時」不等於說話的同一瞬間,觀眾看到的是延遲幾秒後的版本。文件沒有提供資料說明這樣的改動是否容易被察覺。

錄影後處理也是同一份文件的一部分

文件的發明內容段落還提到另一個版本,是針對已錄好的影片,先改逐字稿,再依改好的逐字稿修改聲音與畫面。

所以這份申請並不只針對直播,社群貼文只提到其中的直播版本。

哪些字會被改?請求項怎麼寫

請求項 10 列出可以被替換或移除的字詞類型,範圍從贅詞一路延伸到冒犯性用語。

清單例如贅詞、個人慣用語、口語用詞,以及含糊、唸錯、用錯、說錯的字,還有冒犯、不敏感或不恰當的字。

說明書也寫到,這套技術可以用來即時修正講者說出的不準確或有誤導性的資訊,例如即時事實查核:由 AI 到網路或其他資料來源搜尋並驗證講者正在說的內容(說明書第 [0037] 段)。

這是文件自述的用途,不代表 Microsoft 要做成產品,但它說明「換字」的範圍不只贅詞與髒話,也可能碰到內容層面的修正。

請求項 1 寫的是依一組參數與使用者資料挑字,請求項 6 與請求項 17 則顯示,這裡的使用者是聽話的人。

說明書另外寫到,資料也可以是說話者本人或預期觀眾的,說話者自己也可以使用這套系統,例如有口吃或咬舌的人,用來在近即時或後製時修正自己的語音與畫面。所以誰來決定要改哪些字,文件並沒有只限一種。

所以依請求項的寫法,同一段直播理論上可以對不同使用者呈現不同版本,因為每個人的資料並不相同。

使用者資料列了哪些欄位?

請求項 5 寫到,使用者資料包含下列資訊中的至少一項:年齡、使用語言、出生地、居住地、族裔、文化背景、宗教、教育程度、大學主修、語音樣本,或影像樣本。依說明書的定義,「至少一項」指任一項或任意組合,所以不是每個欄位都必須有。

請求項只列出資料的種類,但沒有規定這些資料怎麼取得,也沒有寫使用者要如何同意。這是請求項層級的觀察。說明書中也沒有看到相關的標示或同意機制,只提到可以把替換字顯示在字幕欄位。

替代字從哪裡來?

請求項 11 允許替代字取自網路搜尋或資料庫搜尋,內容是和談話主題相關的一般資訊。

也就是說,換上去的字不一定來自說話者的用語,文件允許 AI 依主題另外查出詞彙。這一點在「濾掉贅詞」的情境不太明顯,但用在翻譯或改寫內容時就會變得敏感。

請求項 12 還涵蓋非語言的部分,例如過濾背景噪音或音訊回授。換言之,這份申請想處理的是整段聲音,並非只有單一字詞。

翻譯與嘴型:請求項 16 寫了什麼

請求項 16 把即時翻譯放進流程,並要求重新繪製說話者的嘴唇,配合翻譯後的字詞。

流程是這樣:當說話者使用的語言不在使用者資料列出的語言裡,AI 先辨識這些外語詞,再換成使用者語言的翻譯字詞。接著生成聲音轉場,並產生替換影格,影格要包含對嘴唇的重繪。

請求項 17 列出的場景相當廣,包括各國代表的聚會、國際會議、旅遊、社群影片、Podcast、電影電視、歌劇、演唱會、課程與簡報。

在裝置上,請求項 20 寫到可以是配有音訊輸出裝置的 AR 眼鏡、手機、平板或錄影裝置,處理系統包含 NPU、GPU 或 CPU。NPU 是專門跑 AI 運算的晶片。

說明書提到,部分情況會用使用者裝置上的 NPU、GPU 或 CPU 執行。但圖 1 也畫出伺服器與雲端系統,說明書還寫到方法可以由伺服器或雲端系統執行。所以處理放在裝置端或雲端,文件並沒有限定。Microsoft 也沒有說明這些裝置何時、以什麼條件支援。

專利不等於產品:Teams 的 Interpreter 做到哪裡

專利申請描述的是改影像的系統,截至 2026 年 11 月 9 日,Microsoft 官方說明頁描述的 Teams Interpreter 只處理聲音翻譯。

Microsoft 支援頁說,Interpreter 在 Teams 會議與通話中提供即時語音翻譯,聽的人會在原說話者的聲音之上聽到翻譯。

Microsoft Learn 管理頁則說明,它的流程是語音辨識、機器翻譯、語音合成。

使用者可以選擇模擬自己的聲音,或使用預設的聲音,官方稱聲音樣本與生物特徵資料不會被儲存。

官方頁面寫了哪些使用條件?

兩個頁面都提到,Microsoft Copilot 授權每人每月包含 20 小時的翻譯時數,超出部分依可用容量而定。

支援頁也列出限制:會議錄影只包含原始音訊,翻譯逐字稿只在會議當下可看,而且它不適合快速交談、插話或重疊對話。

這兩頁沒有提到改嘴型,也沒有提到改寫說話內容。支援頁寫的是,說話者的視訊畫面上會出現一個指示,表示他的語音正在被翻譯。

這個對比正好說明專利與產品的距離。產品有明確的功能範圍、授權與限制,專利申請只說「可以這樣做」,並沒有承諾哪一天上線。

Microsoft 有說明這份申請嗎?

科技媒體 Futurism 在 2026 年 11 月 1 日的報導指出,Microsoft 沒有立即回應置評請求。截至 2026 年 11 月 9 日,沒有查到 Microsoft 對這份申請的官方聲明,或是對應的產品公告。

直播改寫的疑慮:請求項沒有寫什麼

請求項把「怎麼改」寫得很細,但「要不要告知觀眾」並沒有出現在 20 項請求項裡。

逐項讀完 20 項請求項,沒有看到要求向觀眾標示「畫面已被修改」的條文。附屬請求項 14 只寫到可以把原始影音存起來,供日後參考。

這不代表日後的產品一定不會標示,因為專利請求項本來只界定技術範圍,產品政策是另一件事。但它說明了外界讀到這份文件為什麼會擔心。

比對一下就看得出差別。Teams 的官方頁面寫明,畫面上會出現翻譯中的指示,專利請求項沒有類似的規定。

把三種聲音分開來看會比較清楚。專利文件寫的是技術流程,社群貼文用「改寫人們說的話」概括,Microsoft 則沒有發言。所以本文只能依文件內容描述,不替任何人的意圖下結論。

有了這些區分,接下來可以整理後續要追蹤哪些訊號。

接下來怎麼追蹤這件事

追蹤這份專利申請,要看的是官方紀錄,而不是轉傳的貼文。

如果日後在 USPTO 看到審查結果,才能知道請求項被保留或修改了多少。如果 Microsoft 在產品說明頁新增影像相關的能力,才算從專利走向產品。

Teams Interpreter 的說明頁是現成的對照點。這個頁面寫的是語音翻譯與聲音模擬,沒有改畫面。哪天頁面出現視訊相關的新功能,再回頭對照這份申請也不遲。

在那之前,把它當成一份公開的技術構想最合適,內容可以討論,時程不能推算。

Microsoft 專利申請常見問題

Microsoft 專利申請代表產品快要上線了嗎?

不代表。文件只是專利申請公開,截至 2026 年 11 月 9 日沒有查到 Microsoft 的產品公告或時程。申請是為了保護技術構想,不是上線承諾。

這份 Microsoft 專利申請只能用在直播嗎?

不是。文件另有錄影後處理的版本,先改逐字稿,再修改聲音與畫面。請求項 4 也列出講座、Podcast、電影、演唱會、運動賽事與訓練影片等場景。

Teams 的 Interpreter 會改嘴型嗎?

官方說明頁沒有提到改嘴型或改畫面。Teams Interpreter 的說明只寫了語音翻譯與聲音模擬,並在視訊畫面上標示正在翻譯。

這份專利申請已經通過了嗎?

USPTO 公開出版品本身不含審查或核准紀錄,本文也未取得 Patent Center 的案件狀態。第三方網站的審查狀態無法交叉確認,因此本文視為尚在申請階段,並以「截至 2026 年 11 月 9 日查不到核准的來源」為限。

延伸閱讀:阿里發表 Qwen3.8-LiveTranslate!2.3 秒極限延遲、Interleave 架構與即時同傳深度解析

結語:把它當研究方向的線索,不當已上線的功能

這份文件適合想了解大公司怎麼設計即時語音與影像處理的人,也適合需要判斷「直播內容真偽」的製作團隊和平台管理者。

它不適合被當成「Microsoft 下一個產品」的預告,更不適合用來推算上線日期,因為申請階段的請求項還可能被修改,Microsoft 也沒有說明計畫。

我會把重點放在兩件事:文件裡的功能範圍,以及請求項沒有提到的標示與同意。這兩點決定了類似技術上線時,觀眾能不能知道自己看到的是不是原始內容。

延伸閱讀:SynthID Detector 全球開放:Google 聯手 OpenAI 等夥伴,AI 圖片與影片能查到什麼?

資料來源