PartLLM 3D 分割解析:用文字與點選找零件,模型編輯能省哪些工作

PartLLM 用文字與點選分割 3D 網格零件。本文整理研究的輸入、分割與編輯用途,並說明為何選對零件仍不等於可製造的 CAD 模型。

Share
PartLLM 官方或原始專案示意素材
PartLLM 官方/原始專案提供的示意素材。 圖片來源:PartLLM 研究團隊。

PartLLM 的 3D 零件分割展示最近在 X 受到關注。使用者透過文字或點選指認部位,模型就能協助找出相應區域,讓立體編輯少一些逐面選取。

對不熟悉 3D 工具的人,難點往往不是想到要改什麼,而是先把正確部位選出來。

PartLLM 研究把語言與互動指令帶進網格分割,提供更直覺的選取方式。網格可以理解為組成立體表面的許多小面。

這項能力適合協助資產整理與後續編輯。它產生的區域,不應直接當成尺寸精確或可製造的零件。

想知道能省多少工作,得先看模型怎麼理解想選的範圍。選取方式清楚,後面的編輯與查核才有可對照的起點。

PartLLM 如何理解使用者要選的部位?

官方專案介紹文字、點選與不同細緻程度的分割。它讓使用者可以描述想找的部分,也可以提供位置線索來減少歧義。

例如一張椅子的「椅腳」,可能表示所有椅腳,也可能只表示左前方那一支。若後續要換材質或刪除部件,兩種選法會造成完全不同的結果。

文字指令因此應先說清楚範圍,再看畫面是否符合。點選提供的是額外線索,不能省掉確認被選取的表面與邊界。

同一模型,三種不同選取目的

PartLLM 官方介紹的整體分割,會把形狀拆成有名稱的部分,使用者還可以指定細緻程度。它適合先了解資產有哪些部位,再決定要編輯哪一個。

文字引導分割則從使用者提供的零件名稱開始。官方程式示例以座面、椅背與椅腳描述椅子,不同名稱讓系統知道這次希望如何理解物件。

互動分割使用三維位置線索。官方示例提供空間坐標來指出要選的部位,這與在影片畫面裡隨便點一下並不完全相同,實作時需確認輸入與模型坐標的關係。

三種模式解決的是不同的起點。手上有一批陌生資產,可以先做整體拆分。已經知道名稱,就用文字指定。名稱有歧義或目標很局部時,再加入位置線索。

這是本文依官方模式整理的選擇方法,沒有宣稱任何模式在所有模型都比較準。實際仍要看資產形狀與提示是否足夠明確。

先提出零件,再預測對應區域

官方方法將分割視為由使用意圖決定的拆解工作。系統接收形狀與提示,依序提出語意零件假設,再交由解碼器共同預測區域遮罩。

區域遮罩可以理解為標記哪些表面屬於某一部分。它把「椅背」這個名稱連到可操作的範圍,讓下游知道應處理哪些地方,而不只是輸出一行文字答案。

把拆解與遮罩預測放進同一架構,是研究的重要方向。使用者不必為文字、點選與整體拆解各自換一套模型,但三種結果仍需依自己的編輯目標驗收。

例如要替椅背換色,遮罩應完整涵蓋椅背,也應避免納入座面。名稱回答正確,卻把座面一部分算進去,對實際修改仍是錯誤。

細緻程度也不是越高越好。若只想換整組椅腳的材質,拆成許多小部位反而增加操作。若要修改某個接合處,就需要更局部的範圍,才能避免影響其他結構。

PartLLM 官方或原始專案示意素材
PartLLM 官方/原始專案提供的示意素材。 圖片來源:PartLLM 研究團隊。

零件分割能省下哪些編輯工作?

最直接的用途是把選取結果送進下一段處理。創作者可以依已選區域調整外觀、整理部件,或準備更細的人工修改。

這裡需要分開看選取與操作。研究展示能定位某個零件,不代表每一個下游編輯工具都會自動理解同樣的範圍。

本篇建議先用副本做操作測試。把選到的部位改成明顯的顏色,再旋轉模型檢查,可比直接刪除更容易發現選錯或漏選的表面。

若某個部件與其他部件相連,也應檢查分割邊界。外觀看起來分開,輸出的網格是否仍保有需要的結構,需要另外確認。

可以用同一個椅子資產建立一段示例流程。先指定椅背,再把選區暫時改成醒目顏色,轉到側面與背面檢查,最後才執行正式材質修改。

若背面漏選,先補充提示或位置線索,再比較新版範圍。這樣能看出改善來自更清楚的意圖,還是工具對同一條件的結果不穩定。

需要拆出獨立資產時,則要驗證分割輸出與下游工具的對接。表面分成不同區域,與每一部分都成為完整封閉實體,仍是不同層次的結果。

例如刪除椅背後,座面連接處可能需要補面或整理邊界。PartLLM 的選取能力能協助定位,後續結構處理仍應由適合的建模工具完成。

對大量資產整理,零件名稱也可以成為分類線索。團隊若有固定命名方式,應先核對模型用語是否相同,避免同一部位被寫成多種名字,讓後續搜尋更混亂。

這些用途都建立在先看清選取結果的前提上。看懂部位被怎樣表示,才能判斷它適合接進材質編輯、資產拆分還是資料標記工作。

PartLLM 官方/原始團隊示範;畫面展示不代表所有使用條件。 影片來源:PartLLM 研究團隊。

為什麼不能把結果直接當成 CAD 零件?

CAD 是以電腦輔助進行設計的工具與流程。網格分割主要回答哪些表面屬於哪個部分。精確 CAD 還要處理尺寸、曲面、實體與設計約束,這些不是選取結果本身能證明的。

例如分出一個螺絲外觀,不代表螺距、公差與內部幾何都正確。若工作目的是加工或工程設計,就必須使用相應的幾何驗證流程。

因此對一般讀者,較實用的期待是「更快找出想修改的部分」。把這個目的定清楚,才有辦法比較研究是否真的省下人工時間。

如何做小範圍驗收?

可以挑三種已有人工參考的模型:部件清楚、相互遮擋,以及外觀相似但功能不同。這是本文提出的測試情境,不是作者實測結果。

每個模型先指定相同目標,再比較文字與點選是否得到一致範圍。若指令變得更細,結果是否跟著收斂,也值得記錄。

時間應算到最後能用為止。自動選取很快,但如果漏選的背面需要反覆補修,整體節省可能比展示片段小。

正式使用前,還要查看官方公開的程式、模型、資料與授權。程式可以下載,不代表所有素材都能用在任何商業專案。

公開程式與輸入先對齊

官方儲存庫已列出安裝、模型下載與三種推論模式。其環境示例使用 Python 3.11,並提供可選的 vLLM 後端。不必把可選加速後端誤認為理解功能的唯一入口。

推論就是使用已經準備好的模型,對新資產產生分割結果。讀者若只想測自己的模型,應先查看推論文件,避免把重新訓練當成每次使用的必要步驟。

官方示例以網格檔案或資料夾作為輸入,文字模式提供零件名稱,互動模式提供三維點。開始之前應確認目前資產能對應哪種模式,以及輸出如何查看。

程式發布與模型取得只是起點,硬體、依賴與檔案格式仍要依當次文件確認,尤其不能將網頁展示當成在自己電腦已經跑通。

儲存庫標示程式採 Apache License 2.0。模型、原始資產與資料集則應另外確認相應條款,因為程式授權不會自動替其他來源材料給出相同權利。

把漏選與過度選取分開記錄

驗收時可以先記錄目標部位有多少表面漏掉,再記錄相鄰部位是否被混進來。這兩種錯誤需要不同修改,只有一個「好不好看」評分很難指導下一步。

同一模型重複部位也值得測,例如左右椅腳、兩個把手。提示若只寫「把手」,應確認要選一個還是全部,再以結果判斷工具是否理解範圍。

如果目的只是換材質,小範圍漏選可能容易補修。若要刪除或拆出零件,相同漏選可能留下碎面,修正成本會更高,驗收標準應跟著操作目的調整。

最後保留原始網格、提示、結果與人工修正紀錄。比較同一件工作的完成時間,才能知道自動分割省下的是選取、命名還是後續整理,避免把漂亮展示當成整個建模流程的成果。

依照修改目的選擇分割範圍

PartLLM 提供可控制的細緻程度,意味使用者要先決定怎樣的拆分對工作有用。零件名稱沒有唯一的粒度,整張椅子、椅腳與椅腳上的小結構,都可能是不同任務的合理範圍。

假設資產要放進室內場景,創作者只想替椅子的金屬部分換材質,可以先要求較大的部件區域。若目的是修理一個破損椅腳,就需要確認左右與位置,不能沿用整組選取。

同樣地,完整拆解適合建立資產清單,但不一定是最快完成局部修改的入口。當目標明確,只要求需要的部位,較容易看出提示和結果之間的關係。

官方網頁展示了粗細粒度、文字零件清單與三維點互動,讀者可以先觀察這三種呈現,再挑符合自己任務的模式。展示提供理解,實際模型仍須在相同條件下試用。

驗收時也應保留提示的原文。若第一輪說椅腳、第二輪說左前椅腳,結果縮小可能來自範圍變明確,不能當成模型自己突然提高準確度。

對有多人編輯的團隊,可以先約定零件命名與操作單位,再把選取結果交接。這樣接手者知道「椅腳」是整組還是單支,也比較容易重做相同修改。

當工具提供的名稱與團隊慣用語不同,先確認對應表面,再統一命名。不要只因名字看起來合理,就省略幾何檢查,因為下游操作真正作用的是選中的區域。

一輪有用的測試,最後應留下能再次使用的範圍與修正紀錄。若每次都要重新猜提示,工具還沒有穩定進入流程,應先縮小場景與分割目的,再擴大使用。

PartLLM 常見問題

選到零件就代表分割正確嗎?

先從不同角度查看邊界,並確認有沒有把相鄰部位選進來。若工作涉及精確結構,還需要用實際工具檢查輸出。

可以只靠一句話完成整個模型修改嗎?

這項研究聚焦分割。後續編輯仍需要明確操作與結果驗證,不應把選取能力擴寫成已具備所有建模功能。

哪些人最適合先關注?

需要大量整理網格資產、反覆選取部件的創作者與研究者,可以先評估省下的人工選取工作。工程加工則還需要另外的精確幾何流程。

先確認模型選中了什麼

PartLLM 把語言與點選帶進 3D 分割,讓編輯的第一步有機會更容易完成。實際價值應看選取是否準確,以及後續修正是否減少。

從一個已知部件的模型開始,先改色、轉動並檢查,再試真正的編輯。這樣比較容易看出能力邊界,也能避免一次操作破壞原始資產。

延伸閱讀:Blender MCP 教學:從 X 熱傳 3D 短片,學會分鏡、場景與可修改專案的驗收

延伸閱讀:Yokohara 展示 AI 製作 Blender 場景:少了手動操作,創作判斷還在哪裡?

資料來源