PitchNet 是什麼?免費 AI 音高校正外掛,系統需求、AGPL 授權與使用限制整理
PitchNet 是 Session Loops 免費提供的 AI 音高校正外掛,用神經網路偵測音高並重新合成人聲,支援 ARA 與 VST3。本文整理下載格式、系統需求、0.7.2 版更新、AGPLv3 與模型授權、資料與隱私的未知處,以及適合誰與導入前檢查。
PitchNet 是一款免費的人聲音高校正外掛,做法和傳統修音外掛不太一樣。官方的對比是,傳統外掛直接扭曲原始波形,PitchNet 則先偵測音高,再用 AI 把修改後的人聲重新合成,換取更平滑的轉換與更自然的音色。
這件事在日本先被注意到。Computer Music Japan 在台灣時間 10 月 20 日清晨 7 點多報導 Session Loops 開始免費發放,報導作者隨即在 X 貼出連結。
我在 10 月 21 日早上透過公開鏡像查詢,這則貼文約有 1,640 個讚、約 14.6 萬次觀看。
這則貼文來自 @universe_ex,也就是報導作者自己的帳號,內容是轉述自家報導,不是 Session Loops 官方帳號。報導頁面有一行說明,網站可能使用聯盟廣告或含宣傳文章,但這篇我沒有看到單獨的贊助標示。
所以事實部分,我都回到 Session Loops 官方頁面與 GitHub 倉庫核對。
核對後的第一個發現是,它不是這週才出現的新專案。報導標題寫的是「開始免費發放」,但 GitHub 發行頁最早的版本是 8 月 16 日的 0.5.2,倉庫更早在 5 月 9 日就建立了。
官方的說法很簡單:它偵測人聲音高、把結果顯示成可編輯的音符區塊,並在支援 ARA 的 DAW 裡跟著時間軸分析音訊。DAW 就是你用來錄音混音的軟體,ARA 則是讓外掛能直接讀取音軌的整合方式。
但「免費」與「開源」背後還有幾個細節。倉庫用的是 AGPLv3,程式承襲自另一個專案 HachiTune,內含的幾個模型各有授權,其中一個在作者自己的聲明裡還沒有明確授權。
我的判斷是,想試試 AI 修音的獨立音樂人、Podcast 製作人與教學者可以裝來試,因為它免費、有繁體中文介面,也能裝進支援 VST3、AU 或 AAX 的 DAW。需要穩定交付的商業案,或想把模型檔重新散布的人,則要等版本更成熟並先把授權讀清楚。
要判斷合不合用,先看它到底怎麼修音。
PitchNet 是什麼?偵測音高再重新合成的修音外掛
它的核心流程在 GitHub 的說明裡寫得很具體。它先用神經網路音高偵測器分析音訊,再用 GAME 模型把人聲切成音符,最後透過神經聲碼器重新合成修改後的聲音。
聲碼器是把音高與音色特徵還原成聲音波形的模型。因為合成是從頭生成波形,而不是拉伸原本的錄音,所以官方說它能做出更平滑的音高轉換與更自然的音色。
操作上和鋼琴捲簾很像。你會看到人聲被切成一個個音符區塊,可以選取、拆分、用筆畫出音高曲線,也能調整時間。音高曲線還能逐音符調整偏移、縮放、傾斜與變化量等參數。
編輯結果可以即時試聽,也能匯出 WAV 與 MIDI,而且所有操作都有復原與重做。對新手來說,這些功能的概念,和 Melodyne 這類音符式修音軟體相近,只是核心引擎換成神經網路。
官方頁面放了四組試聽,把同一段人聲升高三個半音,並列原音、PitchNet 與 Melodyne 的結果。我沒有對這些音檔做聽評,也沒有找到獨立的盲測比較,所以音質好不好,得自己用素材聽。
Melodyne 是修音領域常被拿來比較的商業軟體。官方選擇拿它當對照,代表它想站在同一個賽道,但這是行銷選擇,不能直接當成品質證明。
但「AI 修音」四個字很籠統,到底哪個環節在用 AI,還得拆開來看。

AI 在哪些環節出力?音高偵測、音符切分與聲碼器
README 把處理鏈列得很清楚,模型是接力運作的。最前面的音高偵測預設用 FCPE,也可以改用 RMVPE,兩者都是神經網路式的音高估計模型。
接著由 GAME 把連續的人聲切成一個個音符。README 說它用 D3PM 擴散模型做音符分段,所以你在畫面上看到的音符區塊,是模型的判斷結果,不是從樂譜讀來的。
最後由 PC-NSF-HiFiGAN 這個聲碼器,依修改後的音高重新合成聲音。README 稱預覽是即時的,因此修改音符後馬上就能聽到。
這個接力方式有一個實際影響:前一步判斷錯,後面的修音就會跟著偏。如果偵測器把氣音、咬字或換氣誤判成音高,GAME 就可能切出奇怪的音符,再修也修不準。
所以第一次使用時,應先檢查音符切分。看起來不合理的區塊,先拆分或合併,再去調整音高,會比一開始就全選拉準更不容易出問題。這是我依處理鏈順序做的建議,README 沒有這樣寫。
另外,README 列出的模型檔以 ONNX 格式為主,這是一種跨框架的模型檔案格式,建置時要放進資源資料夾。第三方聲明因此逐一列出各個模型檔的來源與授權。
模型分工說明完,接著看怎麼裝起來。
怎麼下載與安裝?Windows、macOS、Linux 與 ARA 設定
官方頁面提供三個平台的安裝檔。Windows 版含 VST3 與 AAX,Mac 版含 VST3、AU 與 AAX,並為通用二進位檔,可用在 Apple Silicon 與 Intel,Linux 版則是 VST3 與獨立應用程式。
GitHub 發行頁上的安裝檔都不小,Windows 的 .exe 約 150 MB,macOS 的 .pkg 約 210 MB,Linux 的 .run 約 160 MB,所以下載前要預留空間與時間。
系統需求寫在同一頁。Windows 需要 Windows 10 64 位元以上,8 GB 記憶體起跳、建議 16 GB,建議有獨立顯示卡,硬碟要 500 MB。
macOS 需要 13 版以上,記憶體與硬碟需求相同。官方頁面沒有列出 Linux 的系統需求。
加速方式在 README 另有說明,功能列表寫 Windows 支援 CUDA 或 DirectML,macOS 支援 CoreML。官方安裝檔預設啟用哪一種,下載頁沒有交代,我也沒有量測速度,所以沒有顯示卡的電腦會慢多少,這裡無法回答。
安裝後建議從一個小任務開始。先在獨立應用程式開啟一段 WAV、MP3、FLAC 或 OGG 的乾聲人聲,按下分析,等它偵測音高並切出音符,再把一兩個偏掉的音拉到想要的位置,即時試聽,最後匯出。
接著才移到 DAW。在 Studio One、Cubase、Logic 這類支援 ARA 的主機,外掛可以直接讀取音軌。不支援 ARA 的主機則走擷取流程,外掛自動錄下並處理音訊,兩種模式的行為不同,所以換主機時要重新檢查。
下載來源請以官方頁面或 GitHub 發行頁為準。這類安裝檔體積大,安裝前先確認網址,再讀過說明後執行。
裝好之後,下一個問題是版本穩不穩。
延伸閱讀:VoiceStudio 是什麼?X 熱傳本機 AI 配音、聲音複製與 646 語言怎麼看
0.7.2 版更新:從 DAW 相容問題看專案成熟度
GitHub 倉庫在 2026 年 5 月 9 日建立,我查詢時有 154 顆星、15 個 fork、414 次提交。倉庫標籤從 0.5.2 排到 0.7.2 共 10 個。
發行頁最早的一版是 8 月 16 日的 0.5.2,最新的 0.7.2 在 10 月 14 日(UTC)發布,兩個月內推了 10 個版本,版本號也仍在 1.0 之前。
更新內容很能看出作者在處理什麼。0.5.5 新增了傳統渲染演算法,修了渲染時的雜音與即時試聽的單聲道問題。0.5.6 加了多軌檢視與 Linux 支援,0.5.7 修了 Logic Pro 擷取與 DAW 分割、合併的錯誤。
0.6.0 加入右鍵選單、Amplitude、Formant Shift 與 Pitch Drift。0.6.1 改善 Windows 上的介面反應,修了擷取模式的速度同步問題與音符還原後波形的錯誤。
0.7.1 修了非 ARA 模式下氣音消失的問題,0.7.0 則沒有附發行說明。
最新的 0.7.2 讓音高巨集在軌道模式下套用到所有片段,並以專案調性作為所有片段的預設。這兩項都偏向多軌編修的便利,看起來開發重心正從單檔編輯走向整個專案。
所以這個專案的好處是更新快、問題會被修。代價是你遇到的 bug 可能還沒被修,而且每個版本的行為都在變。我會把它當作輔助工具,在主要專案裡先備份再使用。
版本問題之外,更需要看清楚的是授權。
PitchNet 授權:免費、開源,但不等於沒有條件
官方頁面寫的是免費且開源。倉庫的授權檔是 GNU Affero 通用公共授權第 3 版,也就是 AGPLv3。這是一種要求散布時要一併提供原始碼的授權,而且連透過網路提供服務也有對應義務。
倉庫 README 說明,它是 HachiTune 的修改衍生版,包含大量衍生程式碼,倉庫並沒有宣稱自己是唯一作者。
我另外打開 README 連結的 HachiTune 倉庫,根目錄同樣放著 AGPLv3 授權檔,所以 PitchNet 與上游這一段的授權是一致的。JUCE 這套外掛開發框架在這個專案中也是依 AGPLv3 使用。
模型的授權更分散。依倉庫的第三方聲明,GAME 與 FCPE 的來源倉庫是 MIT 授權,PC-NSF-HiFiGAN 聲碼器的來源倉庫是 AGPLv3,ARA SDK 為 Apache 2.0,AAX SDK 則依 Avid 的授權協議或 GPLv3。
這些聲明同時寫明,內含的模型檔保留各自上游的授權,每次發行前都要重新檢視。
最需要留意的是 RMVPE。聲明直接寫著,RMVPE 倉庫在整理聲明時沒有授權檔,因此這裡不主張任何再散布授權,重新散布 rmvpe.onnx 之前,要先確認明確授權或取得許可。
對一般使用者來說,如果只是用外掛修自己的人聲,這些條件主要約束的是軟體的散布與修改,而不是你做出的音樂。但我不是律師,若要把修改後的版本打包發行,或把模型檔放進自己的產品,請先請教專業人士。
第三方外掛目錄 KVR 的 PitchNet 頁面把授權列為 GPL 3,版本欄與更新紀錄也落後官方的 0.7.2。兩邊對不上時,我以官方倉庫的授權檔與發行頁為準,目錄資料只當線索。
另一個要提的是資料。官方頁面與倉庫 README 都沒有說明這些模型是用什麼資料訓練的,也沒有寫外掛執行時是否需要連網。
Session Loops 的隱私與服務條款頁需要 JavaScript 才會顯示,我的文字擷取讀不到內容,所以安裝前建議自己打開確認。
README 提到 CUDA、DirectML 與 CoreML 的執行加速,這暗示推論在本機裝置上跑。這是我的推論,不是官方的明文保證。
延伸閱讀:KanaWorks Audio Studio 是什麼?本機 AI 配樂與音效怎麼裝、授權怎麼看
適合誰、不適合誰與導入前檢查
最適合的是用 DAW 做人聲後製的人。獨立音樂人、翻唱創作者與 Podcast 剪輯,通常想把偏掉的幾個音修準,又不想花大錢買商業軟體,這種小修小補是它的主場。
教學場景也合適。它把音高顯示成音符,並能即時試聽,適合讓學生看到自己唱得偏多少,再示範修到哪裡。
需要穩定交付客戶母帶的專業工作室,現階段不太適合,因為版本還在 0.x。
需要共振峰(影響人聲音色的頻率成分)等進階控制的人也要小心,因為 0.6.0 的發行說明雖然列了 Formant Shift,官方頁面與 README 卻沒有介紹它的範圍與效果。
想改裝後再散布的開發者同樣要停一下,因為 RMVPE 模型檔沒有授權檔,授權鏈還沒有釐清。
導入前我會做四件事。先用一段自己的乾聲測試,特別是長音、氣音與快速音群,因為這是合成式修音最容易出現瑕疵的地方。接著在你的 DAW 裡分別試 ARA 與非 ARA 流程,確認速度同步與分割合併是否正常。
然後檢查電腦負擔。8 GB 記憶體是官方底線,筆電在多軌專案裡可能吃緊,所以要先備份並降低同時開啟的外掛數量。最後讀完倉庫的授權與第三方聲明,再決定能不能用在商業案。
接下來是整體風險。
限制與風險:版本、音質與授權鏈都還在變
第一個風險是版本。0.x 代表功能與穩定度仍在變動,雖然更新紀錄顯示 bug 修得快,但同一份紀錄也證明 DAW 相容性問題仍會出現,例如 Logic Pro 擷取與非 ARA 模式的氣音問題。
第二個風險是音質無法從文字判斷。官方的試聽由 Session Loops 挑選,比較的是升高三個半音,而不是一般「把走音拉回來」的修音。我沒有找到獨立測試,所以不能說它比任何現有軟體好。
第三個風險是硬體差異。官方建議獨立顯示卡,沒有的電腦可能延遲更高,但官方沒有提供速度數字。
第四個風險是授權。AGPLv3、衍生專案與沒有授權檔的模型,是一條需要逐段確認的鏈。個人修自己的錄音是最單純的情境,但商業再散布不能想當然。
第五個風險是資料與隱私,前文已說明,官方沒有說訓練資料,也沒有在我能讀到的頁面寫外掛是否連網。
整體來看,它值得試,但適合放在輔助位置。
PitchNet 常見問題
PitchNet 真的完全免費嗎?
官方頁面寫它免費且開源,也提供 Session Loops 訂閱方案給其他產品。PitchNet 本身不需要付費,訂閱是為了使用 VocalNet、DrumNet 等其他產品並支持開發。
可以用修過的人聲商用嗎?
官方頁面與倉庫 README 沒有對輸出的商用另做限制說明。AGPLv3 主要約束軟體的散布與修改,實際商用前,建議讀倉庫授權與第三方聲明,並保留自己的錄音授權證明。
支援哪些 DAW 與格式?
Windows 與 Mac 支援 VST3 與 AAX,Mac 另有 AU,Linux 提供 VST3 與獨立版。ARA 在 Studio One、Cubase、Logic 等主機可用,其他主機走擷取流程。
有繁體中文介面嗎?
有。倉庫的資源列出英文、日文、簡體中文與繁體中文四種介面語言。
它可以取代 Melodyne 嗎?
官方只提供並列試聽,沒有功能對照表。Melodyne 的進階功能我無法逐項比對,所以建議把這款外掛當作免費的試用起點,用自己的素材決定要不要取代。
先拿一段乾聲試,再決定要不要放進正式專案
PitchNet 把神經聲碼器做進修音外掛,並公開原始碼。它的價值在於讓個人創作者能低成本試 AI 修音,也讓開發者能讀到實作。
導入建議很簡單:用一段自己的乾聲,在你的 DAW 做 ARA 與非 ARA 的比較,記錄氣音、長音與快速音群的表現,再讀完倉庫授權與第三方聲明。想持續追蹤音訊與創作工具的實務更新,可以免費訂閱 AI 郵報。