Apple Depth Pro 2 公開:照片、影片估公尺深度,Mac 能跑但商用要先看授權
Depth Pro 2 用普通照片、影片推估公尺深度。解析 Mac 與四種模型、焦距誤差、深度輸出及非商業研究授權,避免把展示當測距保證。
Depth Pro 2 能從普通照片估計每個位置離相機多遠,並把處理範圍延伸到影片。但細小邊緣與前後影格的穩定度,經常很難同時顧好,這正是新研究想改善的問題。
Apple 公開 Depth Pro 2,讓同一套網路處理照片、影片與即時畫面,並以公尺輸出深度。官方程式在 2026 年 11 月 19 日建立,隔日也開始在 X 引發研究者討論。
對影像研究者來說,新功能的用途是把平面影像轉成可計算的空間距離,讓細毛、電線與物體輪廓保留得更清楚,影片的距離估計也不至於每格大幅跳動。
不過這仍是模型依畫面推估的距離,焦距錯誤會一起改變深度比例。它不會因為輸出單位是公尺,就成為經過校準的測量儀器。
我認為有 Apple silicon Mac 或研究用 GPU 的讀者,可以從小模型試驗自己的素材。要投入產品開發則應先停下來確認模型授權,因為官方把權重限定於非商業研究用途。
弄清楚輸出的距離代表什麼,才能決定該用照片模式、影片模式,或選擇不同大小的模型。
Depth Pro 2 估的是哪一種距離?
輸出的公尺深度是沿著相機觀看方向的距離,因此要轉成三維點雲,還需要正確的焦距與相機幾何。
深度估測把照片的每個像素,對應到空間中的一個距離。像素就是構成畫面的小格子,因此模型輸出的不只是物體名稱,而是一整張位置與距離的對照。
這種資訊可以用於研究景深、空間重建或前後景分離。原照片負責顏色,深度圖提供遠近關係,兩者合在一起,才有可能把平面畫面轉成可運算的空間資料。
但 Apple 官方程式說明特別區分距離方向。模型給的是沿相機觀看方向的深度,畫面邊緣的物體,到相機的直線距離可能更長,不能把兩者混成同一個量。
把深度轉成點雲時,這個差別尤其重要。點雲是一組具有三維位置的點,若只把每個像素的數值當成直線半徑,就會重建出不同的形狀。
轉換也需要焦距,也就是影像把場景投影到畫面時的幾何尺度。官方提供共用焦距估計器,在來源沒有這項資訊時協助推測,但推測仍可能有誤。
依文件,焦距若估得長 10%,整體距離也會被放大約 10%。所以即使物體輪廓漂亮、前後關係看似合理,公尺數值仍可能一起偏移。
要研究實際尺寸,可以保留來源影像的焦距資訊,並使用已知距離的物體比較。這是驗證比例的方法,不表示單靠一張結果就能取代校準儀器。
距離定義一致之後,才看得出照片和影片為什麼要採不同的處理方式。

照片、影片與即時畫面,怎麼兼顧邊緣與穩定?
照片可各自推估,影片則把連續影格一起處理,用時間上的資訊減少深度跳動。
單張照片需要把樹枝、髮絲與細線分清楚,影片則還要讓同一個物體在前後影格維持合理距離。如果每格都各自估計,輪廓可能清楚,距離卻容易跳動。
Apple 把這視為既有方法常見的取捨:多影格有利於時間穩定,單影格常有較銳利的邊緣。Depth Pro 2 以同一個可擴充網路處理兩種輸入,試圖同時改善。
官方公開範例呈現細枝、牛毛、電線與仙人掌等畫面。這些題材很適合看邊緣是否被抹平,但展示只是特定輸入的結果,還要搭配有固定資料集的比較。
官方模型卡以邊界分數與時間抖動衡量這兩件事。邊界分數越高,代表物體分界較能保留。時間抖動越低,代表連續影格的深度變化較穩,兩個方向要一起看。
這組結果取 Sintel 與 Spring 兩套測試資料的平均,因此只能說明特定測試範圍的比較。如果自己的素材是另一種相機、光線或運動速度,仍應檢查結果能否延伸。
研究也比較運算時間與距離準確度。選模型時可以先設定可接受的處理時間,再觀察輪廓與穩定度,避免只挑一項指標最好,卻無法在自己的流程中使用的版本。
在自己的素材上,照片資料夾與影片模式的差別不能省略。批次處理照片時,各張影像獨立預測,也可以各自使用不同焦距。
影片檔或程式介面的影片方法,則把影格一起處理,整段影片共用一個焦距。這樣能利用相鄰畫面的資訊,並維持共同尺度,而非把影片拆成互不相干的照片。
如果拍攝時鏡頭或裁切方式改變,研究者就要重新確認輸入是否仍符合這個假設。共同尺度能減少跳動,並不代表所有變焦與剪接都能自動處理正確。
影片也應觀察物體移動時的邊界。靜止畫面的深度很穩,不代表快速轉身、遮擋或細髮飄動時同樣穩定,這些都是實際素材值得另外測試的條件。
連續處理的代價與速度會隨模型規模改變,因此硬體選擇不能只看最漂亮的一張成果圖。
Mac、GPU 與四種模型大小怎麼選?
官方程式支援 Apple silicon 的圖形運算、NVIDIA GPU 與 CPU,筆電可以先從最小的 S 模型開始。
官方發布 S、B、L 與 H+ 四種規模,讓研究者在速度與細節間選擇。參數是模型學到的數值,較多參數通常需要更多運算,但不能僅憑數量決定哪個版本適合。
S 有約 2,400 萬個參數,下載約 97 MB。B 約 9,700 萬、386 MB,L 約 3.34 億、1.3 GB,預設 H+ 則約 8.72 億、3.5 GB。
這些只是模型檔案大小。所有版本還共用約 2,350 萬參數、94 MB 的焦距估計器,執行時也需要保存輸入、運算中間結果與輸出,因此不能把下載大小當作整機記憶體需求。
依官方入門流程,Linux 與 Apple silicon Mac 都可執行推論程式。程式會使用可用的 NVIDIA 圖形處理器、Apple silicon 圖形運算,或中央處理器來運行。
圖形處理器適合大量平行運算,但同樣能啟動程式,不代表不同硬體速度相同。官方並沒有替每一款 Mac 提供共同條件下的即時速度保證。
第一次執行預設會下載 H+,筆電使用者可以指定 S 作為起點。先確認一張照片能產生正確格式,再增加解析度與影片長度,較容易分辨問題來自模型、記憶體或輸入。
實驗時可記下影像尺寸、模型版本、運算裝置與處理時間。不同解析度會改變工作量,因此拿小圖的速度,與另一人高解析影片的時間相比,沒有共同基礎。
能執行只是第一步,還得確認輸出格式是否適合後續研究與影像工作。
深度色圖、16 位元檔與公尺資料,各能拿來做什麼?
彩色結果便於觀察,保留數值的檔案則能進一步做點雲與深度分析,兩者不能直接互換解讀。
預設彩色深度圖用紅色表示較近、藍色表示較遠,便於檢查前景與背景是否合理。顏色適合快速觀察,卻不能只看紅色有多深,就推定固定幾公尺。
若要保留可計算的距離,可輸出 NPZ 檔。這是一種能保存多組數值陣列的格式,官方在裡面提供以公尺表示的深度,以及像素單位的焦距。
這讓研究者能把距離與原圖對上,或繼續轉換成三維資料。流程中應保留來源尺寸,因為焦距以輸入像素為單位,改變影像大小後不能任意沿用舊數值。
另一種輸出是 16 位元反深度圖。反深度讓較近的位置偏白、較遠的位置偏黑,與彩色圖使用的視覺方式不同,適合需要灰階深度素材的研究工具。
這份灰階值會依照片,或影片第一格的深度範圍縮放。如果後續影格有物體靠得更近,數值可能飽和成白色,因此不能假設所有白色區域都有可區分的更近距離。
官方建議把這類檔案當原始數值資料讀取,避免影像軟體的色彩轉換改變內容。例如一般照片的顯示修正,若套到深度資料上,就可能改變後續計算。
天空也是需要處理的例子。它可能被預測為無限遠,小模型也可能給出數公里的有限值。建立點雲或顯示顏色之前,應先設定合理的距離截取範圍,避免極端值支配整張結果。
這些輸出規則讓同一張成果圖可以有不同解讀。研究輪廓、研究尺度與研究時間穩定,需要保存的資料不同,最好在執行前先決定驗收目標。
輸出越容易接到工作流程,越需要先確認哪些用途在模型授權範圍內。
研究可下載,為何不能直接接進商業產品?
程式與模型有不同授權,開放推論程式不等於權重可以拿來做商業產品。
Apple 的模型授權把權重限定於非商業科學研究與學術開發。它明確排除商業利用、產品開發,以及用於商業產品或服務。
推論程式則採 MIT 授權,兩者是不同文件。可以下載程式或研究實作,不會自動取得把模型放進商業服務的權利,因此評估用途時要同時讀程式與模型條件。
這個差別也影響團隊如何安排試驗。想研究新的深度方法,可以依研究條件規劃比較。準備替客戶製作產品或交付商業服務,則應先確認另外需要的權利。
官方程式庫提供推論程式與模型下載入口,並沒有包含訓練和評估程式。能順利重現一張展示圖,與完整重現論文各項成績,仍是不同層次的驗證。
Apple 對精準度、邊緣、時間穩定與運行效率的比較,是官方研究主張。判斷是否適用,應核對資料集、模型規模與硬體,而非把單一結果當成所有影片的保證。
我會先挑有已知遠近關係的研究素材,固定模型與輸入方式,保存數值輸出,再逐項比較邊緣、尺度與連續影格。這樣即使結果不如預期,也能知道該修正哪個環節。
先確認用途、素材與測試標準,再選模型大小,會比先追最大版本更適合開始。
先用研究素材驗證尺度,再決定模型大小
Depth Pro 2 的價值在把清楚邊緣與影片穩定放進同一套研究流程。有相容硬體的讀者可先從 S 測一張照片,再比較影片與數值輸出。先確認用途符合授權、距離定義正確,之後的速度與品質比較才有意義。
延伸閱讀:VFlash 視覺規劃研究,機器人為何不用逐字寫完每一條軌跡?
延伸閱讀:Mac mini 能跑 FastFrames MLX 嗎?64GB 社群移植實測、記憶體與授權
常見問題(FAQ)
Depth Pro 2 需要 LiDAR 相機嗎?
它可以從普通相機影像推估深度,不要求輸入 LiDAR 距離資料。但推估值受到焦距與影像條件影響,公尺單位不代表已經通過測量校準。
Apple silicon Mac 可以執行嗎?
官方推論程式支援 Apple silicon Mac,並建議筆電先選 S 小模型。實際速度與可處理解析度仍受裝置及記憶體影響,不能只依下載檔大小判斷。
程式採 MIT,模型就能商用嗎?
不行。程式與模型的授權不同,模型條件限定非商業研究與學術開發,並排除產品開發或商業服務。要導入產品,應先確認權利範圍。