Captions 推出 Lipdub:結合 Gen Z 俚語的人工智慧配音應用程式
Captions,由前 Snap 設計工程主管 Gaurav Misra 創立的人工智慧視頻新創公司,近期推出了一款名為 Lipdub 的專屬人工智慧配音應用程式。該應用程式能自動將任何預先錄製的帶有語音的視頻翻譯並配音成 28 種語言,並利用人工智慧技術使說話者的口型與翻譯語言的口語相匹配。

Captions,由前 Snap 設計工程主管 Gaurav Misra 創立的人工智慧視頻新創公司,近期推出了一款名為 Lipdub 的專屬人工智慧配音應用程式。該應用程式能自動將任何預先錄製的帶有語音的視頻翻譯並配音成 28 種語言,並利用人工智慧技術使說話者的口型與翻譯語言的口語相匹配。
Lipdub 應用程式目前僅支持 iOS 系統,用戶可以免費下載,無需擁有 Captions 應用程式賬戶。用戶可以使用 Lipdub 編輯視頻,並將其發布到 YouTube、TikTok 和 Instagram Reels 等流行平台。
Lipdub 的一個主要特點是其能夠使用“方言甚至詞彙”進行翻譯,例如 Gen Z 和 Texas 俚語,這使其在人工智慧配音和音頻翻譯服務領域中具有競爭優勢。
Captions 目前擁有超過 100,000 名每日用戶和超過 500 萬名“創作者”使用其產品,包括 iOS 視頻創建和編輯應用程式以及網站,創作者可以在上面上傳和壓縮視頻,使用其人工智慧 Eye Contact 功能自動糾正未看向攝像機的視頻,並自動添加由人工智慧生成的字幕和標題。(補充:目前可以免費下載,但僅支援IOS系統)
該公司的新應用程式推出僅數小時後,由前 Google 和 Palantir 員工創立的 ElevenLabs 也宣布了其自己的預先錄製視頻人工智慧配音功能,支持 20 種口語語言。
Captions 的 Lipdub 應用程式預計將進一步推動人工智慧在視頻編輯和音頻翻譯領域的創新,為用戶提供更多元和個性化的內容創建和分享體驗。