OpenVLHarness 視覺代理框架：不重訓模型，工具與多模態記憶能改善哪些看圖工作？

AI 看得到圖片，仍可能數錯物件、誤判位置，或忽略角落的小字。OpenVLHarness 嘗試改善的，就是讓模型在一次直覺回答之外，多一些查證與計算的機會。

這套框架由 UCLA 與 Apple 的研究者共同提出，讓多模態模型使用感知、搜尋與程式工具。多模態指同時處理文字、圖片等資料，因此工具回傳的內容，也不必全部壓成文字摘要。

例如模型可以先找到物件的位置，保留框選結果，再拿位置資料做計算。因為後面的步驟能回到前面看到的證據，就有機會減少光靠描述猜測造成的錯誤。

官方報告在 22 項基準上取得改善，但這是研究框架與測試結果，沒有代表 Apple 已經把同樣功能上架到 iPhone 或 Siri，也不能把研究合作當成產品上市公告。

這次更新適合想研究視覺工具鏈的開發者。若只是想找一個不用設定就能看圖的 App，仍要面對模型端點、工具服務與搜尋等部署工作。

要理解框架能改善什麼，先從模型為何需要工具，以及工具證據如何在多個步驟之間傳遞開始。

OpenVLHarness 做什麼？不重訓仍然能改變工作方式

OpenVLHarness 在既有模型外面安排工具與工作流程，讓模型選工具、讀取結果，再決定是否繼續。它採用既有權重，不要求為這套框架另外微調模型。

模型權重是訓練完成後留下的核心參數。框架則決定模型如何取得資料、使用工具與保存過程。因此，不重訓可以降低一類投入，但並不代表整個系統無須設定或沒有額外成本。

依 官方程式庫說明，工具能力包含物件定位、文字辨識、深度估計、裁切、網路搜尋與 Python 計算。模型會根據問題組合使用，而非每題固定把所有工具跑一遍。

裁切與計算，為何可能改善看圖答案？

圖片裡的小字或細節，在整張圖一起閱讀時可能被忽略。裁切讓模型專注某個區域，因此能把原本模糊的資訊放大後再觀察，而非只憑第一次看到的印象回答。

位置與距離問題則可能需要計算。若工具已回傳框選座標，模型可以利用座標推導相對位置。比起把畫面先描述成一大段話，再從描述猜位置，多保留了一層可檢查的依據。

但工具也可能犯錯。例如前面框錯物件，後面即使計算正確，也會得到錯誤結論，所以流程應保留每一步的結果，讓人能知道最初的偏差從哪裡開始。

這也讓記憶的角色變得具體，它需要保存可供後續操作使用的資料，而不只是讓模型寫一段「剛剛看過什麼」的摘要。

多模態記憶記住什麼？同一題的證據與跨對話記憶不同

這裡的記憶主要用來保留同一個問題中的證據，讓後續工具與程式可以再次引用。官方明確說明，每個新問題會開始新的記憶，因此不能把它當成跨對話永久記住使用者的服務。

可保留的資料包含圖片、框選位置、遮罩、深度圖與網頁參考。遮罩是標出圖片中某個物件範圍的區域，深度圖則用數值描述畫面中的遠近資訊。

這些資料能被後續步驟找到，才有機會累積成較可靠的推理。例如先找出桌上的瓶子，再引用同一組物件資料計數，就比每一步都重新猜一次物件位置更容易追查。

為何不能只保留工具的文字摘要？

摘要會壓縮資訊，也可能丟掉細節。如果後面要比較兩個物件是否重疊，只留下「桌上有兩個杯子」就不夠，因為原本的座標與輪廓已經不見。

保留結構化結果，可以讓下一步直接計算。但資料型態越多，儲存與傳遞就越複雜，因此系統還需要處理命名、引用與有效範圍，避免模型引用到錯誤物件。

每題獨立的設計，也能讓研究者更清楚比較同一題中的工具使用過程。它解決的是任務內的證據連續性，與長期累積個人偏好、專案歷史的記憶系統，目標不同。

如果讀者正在規劃跨對話記憶，應另看資料保存與更新的機制，不能因為名稱同樣包含記憶，就認為兩套系統可以直接互換。

延伸閱讀：EverOS 記憶怎麼用？本機檔案、Cloud 與 AI 代理跨對話的工作流程

22 項基準改善多少？同一模型比較，仍要算工具投入

官方在四類視覺工作、22 項基準中比較原模型與加入框架的結果。程式庫列出的七個主模型，平均增幅約為 9.7 到 12.6 分，這是基準分數差，而非所有任務成功率都增加相同比例。

同一模型前後比較，有助於觀察工具流程是否提供額外幫助。但加入框架之後，也加入其他感知模型、搜尋與程式執行，所以不能把提升全部理解成主模型本身變聰明。

例如搜尋工具可能帶回模型原本不知道的外部資料，感知工具也可能更擅長定位。這些是系統能力的增加，因此應用整套系統的品質與成本來評估。

官方工具介面也會整理觀察結果，讓主模型讀到可用證據，而非每次面對大量原始輸出。這一步會影響資訊是否被保留，因此比較工具鏈時，也要查看摘要與原始結果是否一致。

如果輔助模型漏掉關鍵文字，主模型即使推理正確，仍可能沿著不完整證據回答。這說明增加工具之後，除了看最後分數，也需要檢查工具與主模型之間的資料交接。

如何避免只看平均分數？

平均可以幫助快速掌握方向，但實際產品可能只使用其中一類任務。若產品主要是圖片計數，就要回到計數題目。若工作是網路辨識，則應查看搜尋與證據核對的結果。

分數以外，還要看每題用了多少工具、模型回合與時間。如果多花一些成本就能顯著降低重要錯誤，可能值得。但對簡單問題，直接回答也可能更合適。

官方專案頁保留逐步工作軌跡，讓讀者查看模型如何走到結論。這比只看最後答案更有診斷價值，因為可以分辨模型是找到證據、剛好猜對，還是沿途發生錯誤後又補救。

本篇沒有重現全部基準，因此官方成績應視為研究起點。真正導入時，要把自己的圖片來源、題目與容錯條件放進同一套比較。

部署需要什麼？免費程式不等於整套工具免費運行

部署至少要準備主模型、輔助模型與需要的工具服務。官方預設中，搜尋摘要與網頁擷取還會使用額外的多模態模型，因此主模型可以連上，不代表其他步驟已能運作。

感知能力也有獨立服務，例如定位、文字辨識與深度估計。它們可能需要各自的執行環境與設備，所以完整部署的資源，不能只按主模型的記憶體需求估算。

網路搜尋則透過外部搜尋服務，通常有額度與計費條件。當工具回傳失敗、金鑰失效或配額用完，整個代理的表現可能改變，因此這些狀態應被記錄。

哪些圖片可能離開自己的設備？

反向圖片搜尋需要讓搜尋服務取得圖片。官方文件描述了可被外部讀取的圖片網址或儲存方式，因此若資料不能外傳，就要先確認這條功能是否能啟用。

這與主模型放在哪裡是分開的問題。即使主模型在本機，工具仍可能把圖片送往外部搜尋，所以資料位置必須沿著每一個工具步驟檢查。

程式工具也需要明確的執行範圍。官方指出，產生的 Python 會在主機上執行，而逾時限制本身不是隔離環境，因此測試用的系統應與重要資料分開。

這些設定並非用來阻止研究，而是讓測試結果可以被信任。當工具權限、外部資料流與費用邊界清楚，團隊才知道一個成功答案究竟用了哪些資源。

哪些看圖工作適合試？從可回查的問題開始

適合的起點，是需要多個步驟，而且每一步都有可檢查證據的工作。例如圖片中的物件計數、位置比較、局部文字閱讀，以及需要搜尋外部資料辨認的物件。

如果題目只是描述一張簡單圖片，額外工具可能增加等待卻沒有明顯收益。相反地，若答案需要裁切、定位和計算配合，保留中間證據就更可能發揮價值。

以計數為例，不能只看最後的數字是否正確。還要看框選有沒有漏掉遮住一半的物件、有沒有把同一物件算兩次，才能知道系統是否真的改善觀察方法。

空間問題要怎麼驗證？

空間問題可以先限定在畫面能支持的範圍。二維圖片中的左右位置，與現實世界中的三維距離不同，因此即使工具提供深度估計，也要保留模型估算與實際量測的差別。

例如問某個物件是否在另一個物件前方，可以查看深度圖與框選結果是否一致。但若要精確到公分，就需要相機與場景資訊，不能只憑一張照片承諾精密測量。

搜尋辨識則要檢查來源是否真的支持結論。找到一張相似照片，與確認就是同一物件，是兩種不同強度的證據，因此最後答案應保留識別範圍。

當題目、工具輸出與結論能逐步對上，框架的價值才容易看見。這種方法也能幫團隊判斷，應該改善主模型、換工具，還是整理輸入圖片。

視覺代理與一般代理框架，應該如何搭配理解？

兩者都在安排模型如何工作，但視覺代理更需要保留圖片與幾何資料。因為單靠文字傳遞，很容易把位置、輪廓與畫面細節壓縮掉，所以工具介面也要配合資料型態。

一般代理框架則可能更重視任務拆解、工具選擇與長時間工作管理。它們處理的是不同層次，不能只用是否有更多工具來判斷哪一個一定比較好。

對產品團隊而言，可以先找出現有模型常犯錯的具體情境。如果錯在看不清細節，就優先試裁切與辨識。如果錯在不知道外部資訊，則要改善搜尋與來源核對。

這樣逐一補上缺口，比一次接上所有能力更容易知道哪個改動有效。研究提出的完整框架提供了範例，但產品仍可根據實際任務挑選必要部分。

若想理解代理如何調整自己的工作流程，可以對照另一類框架研究，再把視覺證據的需求放進比較。

延伸閱讀：Harness² 開源：Google 讓 AI Agent 自己調整工具與工作流程，能改善什麼？

OpenVLHarness 常見問題 FAQ

OpenVLHarness 是 Apple 正式推出的 App 嗎？

它是研究框架，作者包含 UCLA 與 Apple 研究者。共同研究不等於已上架的消費產品，也沒有代表 iPhone 已加入相同功能。

它會永久記住我的圖片嗎？

官方描述的是每個問題內可引用的多模態記憶，新問題會建立新的記憶。實際部署是否另外保存記錄，則由部署者設定。

不重訓就完全沒有成本嗎？

仍然需要模型運算、感知工具與可能付費的搜尋服務。不重訓省下的是額外訓練這一部分，與執行成本不同。

適合研究證據如何傳遞，先找一個會反覆看錯的任務

已有模型與工具部署能力，而且需要追查視覺答案來源的團隊，適合從一類題目開始試。若只是尋找現成 App，則要先確認自己是否願意投入服務整合。

這次研究讓看圖工作更接近可回查的多步流程，但答案品質仍取決於工具與模型共同運作。歡迎免費訂閱 AI 郵報，追蹤視覺代理與多模態研究的後續發展。

資料來源：官方程式庫、作者專案頁與逐步示範、原始論文。