Mesh Avatar Studio 教學:把一張角色圖做成能說話的 OBS 虛擬化身
Mesh Avatar Studio 將角色圖片帶入虛擬化身與 OBS。本文整理環境準備、圖層調整、臉部校準、瀏覽器來源與聲音檢查,並說明素材授權。
手上有一張喜歡的角色插畫,想拿來做教學影片或直播,下一步常常卡在動畫。只放靜態圖片缺乏表情,完整製作角色模型又需要時間與技術。
日本開發者 shinshin86 公開的 Mesh Avatar Studio,嘗試把這段工作交給 AI 代理先做底稿,再由使用者在編輯器修正。
本文從素材準備、表情檢查到 OBS 接入,整理一條可逐步驗證的流程。
作者在 X 的展示已獲得大量關注,但那是作者完成的示範,不能代表每一張插畫都能得到相同結果。以下依專案 README 整理。我們沒有把自己的角色拿去完成實測。
工具的價值,應從修改難度與直播穩定度來看。

先認識它做的是哪一種角色動畫
Mesh Avatar Studio 的方向,是讓一張圖產生類似 Live2D 的網格變形與分層效果。角色可以隨頭部姿勢、眼睛與嘴形變化,看起來更有生命。
它不等於官方 Live2D Cubism,也不應把所有檔案或授權當成兩者互通。對外介紹時,使用「類似 Live2D 的效果」會比直接稱作 Live2D 模型準確。
整個流程有兩個角色:AI 代理先依圖像整理結構,編輯器則讓你修正分層與控制點。這代表成品品質不只取決於模型,也取決於原圖與人工調整。
如果耳朵、頭髮或肩膀重疊複雜,第一次生成的底稿可能需要更多修正。不要以為出現一個會動的頭,就已完成可長時間直播的角色。
教學創作者可以先把目標設小:一個正面角色、少量轉頭、眨眼與基本說話嘴形。先完成一段短說明影片,再決定是否需要更大幅度的表情與動作。範圍愈清楚,愈容易知道問題出在素材、分層還是追蹤設定。
準備一張容易處理、可合法使用的圖
官方 README 建議以透明背景、正面頭肩構圖開始。圖像最好有清楚的輪廓,頭髮、眼睛、嘴巴與肩膀不要被其他物件遮住。
側臉、雙手遮臉或背景過於複雜的圖,不一定不能用,但會使分層與變形更難判斷。第一次試做,選簡單圖通常更快看到工具是否適合你。
除了構圖,也要確認使用權。角色是自己畫的、委託製作的,還是從網路下載的?委託插畫的約定是否包含改作、直播與商業影片?如果沒有明確權限,先處理這個問題再投入動畫工作。
工具程式的開源授權,不能替你取得角色的著作權或肖像授權。
專案中的示範角色也有獨立條款。README 對 Miko 樣本的使用限制,應與程式碼的 MIT 授權分開閱讀。可以學習示範檔案如何組成,不代表能把素材獨立打包出售。
交付客戶時,採用客戶自行提供或已取得使用權的角色,會比較容易管理。
建立可回復的試作環境
專案文件列出 Node.js 版本條件與 npm 工作流程。先依當下 README 準備環境,再取得原作者的 repository。
安裝依賴前,可以請 Claude Code 或 Codex 說明套件清單、啟動方式與會新增的檔案。教學流程不需要把個人的其他資料夾交給代理。一個專用的角色專案目錄就足夠。
正式操作應以原作者文件為準。常見流程是安裝依賴後啟動開發介面,再在瀏覽器開啟編輯器。若啟動失敗,先看版本與錯誤訊息,不要反覆讓模型更動全機設定。
把第一次可正常開啟的版本記錄下來,後續升級遇到問題也比較容易回復。
作者另外提供代理指南,說明分層、座標與檢查方式。可以要求代理先讀這份指南,再處理你的圖。「幫我做一個能直播的角色」過於籠統。
「先完成頭部、眼睛與嘴巴的基礎分層,輸出可在編輯器檢查的專案,先不要接入直播」更容易驗收。
文件要求 Node.js 22.17 以上。在取得原作者 repository、進入該專案資料夾後,依 README 執行:
npm install
npm run dev
開啟終端機顯示的網址,例如 http://127.0.0.1:5173/。
在編輯器選 Open project 開啟專案,再依序使用 Pose test 與 Lip sync 檢查姿勢、閉眼與嘴形。
分層修改後,依介面選 Save and rebuild layers 儲存並重建。
讓代理做底稿,讓編輯器負責可見的修正
第一次底稿完成後,從編輯器的姿勢測試開始。觀察向左、向右與上下變化時,頭髮是否穿過臉、眼睛是否偏離位置、肩膀是否被拉得不自然。先修最明顯的問題,因為小範圍的控制點變更,可能就能改善多種姿勢。
README 說明可以拖曳控制點,並依需要調整遮罩與分層。修正後要儲存,涉及圖層的變更還需依文件重新建立對應資料。這個步驟值得留下版本:原始底稿、修正眼睛後、修正嘴巴後各一份。
當後面的調整讓某個姿勢變差,才有清楚的比較基準。
不要要求代理一次做完所有細節。先列出可觀察的問題,例如「左轉時右眼超出臉部輪廓」、「閉眼後仍看見原本的瞳孔」。附上對應姿勢與畫面,比一句「不自然」更容易讓代理找到原因。
若圖像本身缺少某個角度的資訊,應接受有限的動作範圍,而非強求生成大幅轉身。
說話效果要分開檢查嘴形與音訊
能隨聲音張嘴,和嘴形自然,是兩件不同的事。先在編輯器用預設測試確認嘴巴位置,再觀察幾種母音與閉口狀態。嘴巴不應在安靜時持續大幅晃動,也不應在長句中完全沒有變化。
你可以先錄一段熟悉的短文,使用相同聲音反覆比較修改前後。
如果要接麥克風,先調整輸入裝置與音量。環境噪音、音量過小或錯誤裝置,都可能讓角色一直張嘴或毫無反應。先在作業系統或錄音程式確認收音,再回到工具調整。
不要把所有音訊問題都當成角色網格的問題,否則會花時間改錯地方。
表情追蹤也是可選的環節。先確認靜態姿勢與嘴形,再測攝影機追蹤,才能分辨變形來自哪一部分。鏡頭角度、照明與遮擋都會影響結果。
作者對本機處理的說明可供參考,正式使用時仍應檢查所啟動的程式、瀏覽器權限與你的實際設定。
要增加真正畫出的閉眼與母音嘴形,可以使用 Drawn variants 勾選 Eyes、Mouth,複製訊息交給在同一專案目錄中工作的 Codex。
README 說明 Codex 可用圖像生成功能製作並匯入。Claude Code 對應訊息則準備遮罩與提示,還需交給圖像生成工具。這與只調網格是不同的工作。
接到 OBS,先錄影再直播
專案提供 OBS 瀏覽器來源的使用方式。依 README 取得對應網址與尺寸,把角色加入一個新的測試場景。先保留角色的 Live 視窗,因為輸出依賴它保持運作。
不同專案版本的選項可能變動,應以你下載版本的說明為準,不要只依照社群截圖找按鈕。
具體順序是開啟專案後選 Live,啟動攝影機、正面放鬆並閉嘴,再按 Calibrate。
接著選背景與 Copy OBS URL,在 OBS 加入 Browser Source,可先用 1080 × 1080。
Live 頁面保持獨立視窗開啟,OBS 網址另放入 OBS 或另一個分頁。
畫面加入後,先檢查透明背景、裁切與比例。頭髮最外側是否會被切掉?角色轉頭時是否超出邊界?文字講義是否被角色遮住?
教學影片中的角色通常只占一小塊區域,可以先用較小的尺寸測試,再調整成固定版型。角色不必占滿整個畫面才能建立辨識度。
音訊路徑也應單獨檢查。角色工具讀取麥克風,是為了控制嘴形。觀眾聽到的聲音則由 OBS 的音訊設定決定。若同一個來源被加入兩次,可能產生回音。
先錄一段三十秒,確認只有一條清楚的人聲,再開始正式直播。
用一段教學測試真正的交付品質
測試內容可以包括自我介紹、閱讀短文、停頓與轉頭。播放錄影時,先不看操作畫面,只看觀眾會看到的結果。嘴形是否能大致跟上聲音?停頓是否自然?角色突然跳動時會不會分散注意?
對教學內容而言,穩定與清楚通常比表情數量更重要。
再把錄影縮到手機大小。某些精細的表情在小畫面完全看不出來,卻仍增加製作成本。可以先保留最有效的幾種:正常說話、眨眼、少量點頭。若要做品牌影片,再增加較複雜的表情。
你應依播放場景決定細節,而不是把編輯器所有功能都開啟。
交付前也要記錄啟動順序。哪個程式先開、哪個網址要保留、攝影機與麥克風使用哪個裝置,以及 OBS 場景名稱是什麼。讓另一位同事照著紀錄啟動一次,能比自己反覆測試更快發現隱藏依賴。
完整的操作紀錄,能避免每次開播都重新摸索。
常見問題:能省掉所有角色製作工作嗎?
不能。它主要降低第一份底稿的門檻,人工仍需判斷結構、表情與變形。若你需要高度精細的轉頭、大幅動作或正式商業角色,可能仍須專業繪圖與綁定。
把它當成可修改的試作工具,會比把它視為所有角色製作的替代品更符合目前公開證據。
原圖愈一致,後續愈容易修改。想更換服裝或髮型時,可以先保留相同頭部比例與五官位置,再逐步調整。如果每次都換成完全不同的畫法,前一版的控制點與表情經驗可能無法沿用。
規劃角色系列時,先建立一套簡短的外觀規格會更有效。
網路上的「一張圖就完成」通常省略了中間修正。評估工具時應詢問總工作量:素材準備、代理生成、編輯器修正、追蹤調整與 OBS 測試各花多少時間。只比較生成時間,容易高估自動化的效果。
即使第一版需要修正,只要修改方式清楚,仍可能比從零開始容易。
角色在小畫面裡,哪些細節值得優先修改?
可以先把錄影截成三個狀態:正常說話、閉嘴停頓與小幅轉頭。以實際播放尺寸並排比較,確認每個狀態都能辨認同一個角色。如果只有放大時才看得見的問題,可以排到後面。
如果嘴巴忽大忽小、眼睛穿過頭髮,在小畫面也會明顯,就應優先修正。這種排序能讓有限時間用在觀眾真的會看到的地方。
顏色與背景也會影響效果。深色頭髮放在深色講義上,輪廓容易消失。淺色衣服配白色背景,肩膀可能看不清楚。先決定直播場景的背景,再調整角色位置與陰影。
不要在透明畫布上看起來正常,就認為所有場景都能沿用。
字幕是另一個需要安排的元素。如果角色嘴巴和字幕重疊,觀眾會在兩個視覺焦點之間切換。可以讓角色固定在一側,字幕保留穩定區域。
用一段有長句的錄影檢查,而非只有一句問候,才知道正式內容會不會互相遮擋。
團隊交接時保留哪些檔案?
至少保留原始插畫、可編輯的角色專案、已驗證的工具版本與 OBS 場景設定。只有最終錄影,無法讓下一位同事修改表情。只有角色專案,也無法知道正式影片使用了哪些裁切與音訊設定。
檔案可以放在同一個專案目錄,名稱包含日期與用途即可。
授權紀錄也應一起保存。若角色由外部繪師製作,保留約定的使用範圍與交付文件。之後從內部教學改成付費課程或商業廣告時,才有資料可判斷是否需要補充授權。這是一項素材管理工作,與工具是否免費無關。
Mesh Avatar Studio 值得先從自己的簡單角色試做。讓工具完成基礎結構,再用一段短錄影檢查結果。如果你能理解並控制修正,再逐步用於固定的教學內容。
這樣得到的是一套可維持的角色工作流程,而不只是一次成功的展示。