Stability AI發布「Stable Video 3D」模型,3D生成再進化
Stability AI 最近推出了名為「Stable Video 3D」(SV3D)的創新模型,這款工具專門用於渲染3D影片,其核心優勢在於能夠從多個視角一致地呈現同一物件。這項技術是在公司早期的Stable Video Diffusion模型基礎上進行擴展,新增了深度層次,使其能夠根據單張圖片輸入,創建並轉換成多視角的3D影片。

Stability AI 最近推出了名為「Stable Video 3D」(SV3D)的創新模型,這款工具專門用於渲染3D影片,其核心優勢在於能夠從多個視角一致地呈現同一物件。這項技術是在公司早期的Stable Video Diffusion模型基礎上進行擴展,新增了深度層次,使其能夠根據單張圖片輸入,創建並轉換成多視角的3D影片。
SV3D的關鍵特色是生成物件時保持高度的視角一致性,確保從任何角度觀看都能獲得一致的視覺體驗。Stability AI 指出,過去在將2D模型適應新視角合成(NVS)時,常遇到的挑戰是視角不一致性。SV3D通過其先進的生成新視角技術,能夠直接生成3D網格,解決了這一問題。
該模型不僅是遊戲開發中創建3D物件的強大工具,也在電子商務領域展現出巨大潛力,能夠提供360度全方位視角的影片,為消費者帶來更加沉浸式的購物體驗。
SV3D分為兩個版本:SV3D_u和SV3D_p。SV3D_u能夠僅憑一張圖片輸入,無需任何額外的鏡頭位置參數或圖片,就能生成3D影片。而SV3D_p則能結合單張圖片和軌道視圖,生成沿特定攝影機路徑的3D影片。
此外,Stability AI在去年底已經推出了首款3D生成模型「Stable Zero123」,而SV3D可視為其改進版,提供了新的視角合成網絡。與基於Stable Diffusion的Stable Zero123相比,SV3D基於Stable Video Diffusion模型,能夠一次性輸出多個視角,進一步擴展了應用範圍。
SV3D目前已向Stability AI的會員開放,用於商業用途,而非商業用途的使用者則可以通過Hugging Face平台下載模型權重。