Jev 1.14 加入實驗 Box 框選:圖片支援、價格與試用前檢查

Jev 1.14 加入實驗 Box 框選,圖片輸入則需另看版本與開關。本文整理官方支援範圍、費用、位置座標與測試方法,協助判斷何時適合小規模試用。

Share
Jev 1.14 實驗圖片功能官方主視覺
Jev 1.14 官方主視覺;圖片與 Box 為需主動開啟的實驗能力。 圖片來源:TypeSafe。

Jev 1.14 在預覽版加入 Box 位置框選,並沿用需要主動開啟的實驗圖片輸入。對正在整理照片、表單或畫面位置的團隊來說,這代表部分判斷有機會在同一次請求中完成。

但看到支援圖片,還不能直接把它接進正式流程。TypeSafe 在 2026 年 10 月 14 日的公告中,把相關能力放在實驗範圍,也要求使用者明確開啟。

這個差別會影響試用方式。團隊應該先確認圖片輸入、位置框選及版本代號各自的限制,再決定哪些資料可以送進去。

而預覽版本與 jev-latest 別名並不同步。因此,直接沿用舊設定的程式,也可能沒有使用到自己以為的版本。

圖片輸入、位置框選與費用各自有不同限制。只有先把這些能力分開,才知道一個商品照片流程應該測哪些環節。

目前較適合先建立小型測試與錯誤處置流程。若任務要求準確框選,則要保留人工檢查,而第一步是確認這次到底新增了哪種判斷。

Jev 1.14 實驗圖片功能官方主視覺
Jev 1.14 官方主視覺;圖片與 Box 為需主動開啟的實驗能力。 圖片來源:TypeSafe。

Jev 1.14 更新了什麼?先分清圖片與位置判斷

圖片輸入在 Jev 1.13 已可實驗使用,而 Box 位置框選需要 Jev 1.14。

Jev 處理的是依照既有狀態回答指定問題的工作。所謂狀態,就是這次判斷需要的資料,例如商品照片、品項名稱和檢查規則,因此不必先把任務想成一段自由聊天。

如果問題是「照片裡是否有包裝盒」,結果可以用於後面的分類。但若下一個步驟需要在畫面標出包裝盒,就還需要位置資訊,這正是 Box 想補上的一段。

依照 官方更新公告,新版也改善工具使用等表現。不過,對準備測圖片的團隊,先掌握圖片和位置問題的差異,比一次追完所有評測更有用。

因為兩種能力回答的問題不同,驗收標準也不能共用。判斷照片裡有盒子,可以是答對或答錯;框出盒子則還要檢查位置是否偏移、是否把背景一起圈進去。

這也表示,支援圖片不等於能完成所有視覺工作。例如讀取細小標籤、辨別相似商品與找出外盒位置,應拆成不同題目,分別留下結果。

官方明確把圖片與 Box 列為實驗功能,格式、限制及準確度都可能變動。因此,這階段的試用應能容許修正,而不能把模型回答直接當成不可推翻的結果。

對營運團隊而言,可以先把模型放在人工檢查之前,協助排列待看資料。若判斷錯誤仍會有人攔住,試驗就比較容易看出實際節省了哪些步驟。

公告中的評測來自 TypeSafe 自家的測試設計。它可以說明團隊正在改善哪些工作,但不能據此推論所有中文圖片任務都已達到同樣水準。

要開始驗證這些能力,還得確認請求實際指向哪個版本。

版本別名與實驗開關怎麼看?

模型名稱與功能開關是兩個不同設定,兩個都正確才算開始測試。

API 是讓程式呼叫服務的介面,而請求中的模型名稱決定由哪個版本處理。依 10 月 15 日查閱的 模型文件,jev-preview 指向 1.14,jev-latest 則指向 1.13。

因此,程式裡有 latest 這個字,不代表已經拿到這次預覽功能。若測試報告只記「使用最新模型」,隔一段時間就可能無法解釋結果為什麼改變。

較容易回查的做法,是在測試設定記下明確版本,並保存回應中的實際模型名稱。這樣同一組資料重測時,才知道差異來自模型更新還是題目調整。

圖片與 Box 還需要在每次相關請求加入 TypeSafe-Danger-Zone-Images: true。這個開關代表主動使用實驗能力,並不會把功能變成正式服務保證。

依 圖片文件,目前支援 PNG、JPG 與 JPEG。若手上的素材是其他格式,應先確認轉換後是否仍能看清目標,再進行比較。

檔案被接受,也不代表圖片內容必然適合判斷。例如大幅壓縮後的標籤可能已經模糊,所以測試時要保留原圖,才能區分輸入問題與模型問題。

同一圖片若在多個位置重複引用,會增加模型讀取的內容。文件提醒引用字串應避免意外撞到普通文字,因此素材命名也會影響請求是否如預期組成。

這些設定看似只是接線細節,卻會決定兩次測試能不能比較。如果版本、圖片品質與引用方式同時更動,就很難知道到底是哪個改動帶來改善。

設定一致後,下一步才是理解位置結果能代表什麼。

延伸閱讀:Jev 模型是什麼?新手完整教學:3 種判斷類型、程式實作、適合場景與限制

Box 框選可以拿來做什麼?

Box 回傳的是圖片中目標的相對位置,應該把它當成需要檢查的判斷結果。

依 Box 文件,回傳框的四條邊用零到一的相對座標表示。左、右依圖片寬度計算,上、下依高度計算,原點在左上角。

假設一張圖片寬一千像素,而左邊界是零點二,就對應到距離左緣兩百像素的位置。這是座標換算示例,並非模型在該圖片上的實測輸出。

使用相對座標的好處,是縮放預覽時仍能依比例畫框。但應用程式必須使用與模型相同的圖片方向,否則旋轉或裁切後,框的位置可能對不上。

因此,驗收時要先把回傳結果畫回原圖。只有看原始數值,很難發現框其實圈到旁邊的物件,或把想要的目標切掉一半。

另一個要先定義的問題,是照片裡有多個相同物件時該選誰。若指令只寫「找到商品」,人和模型可能各選不同商品,最後便無法一致判定對錯。

可以把問題改成指定要檢查的目標,例如「最靠近左側的完整包裝盒」。這是測試設計建議,仍需要用實際照片確認模型是否理解同一條規則。

結果附帶的信心資訊也不能直接當成保證。若要依分數決定是否自動放行,應先檢查高分錯誤會出現在哪些情況,再訂出可接受的處理規則。

若某一類錯誤會影響後續裁圖或資料標註,人工複核就應保留原圖與框選結果。這樣修正的人才能看見模型當時根據什麼位置做判斷。

位置正確仍不足以決定流程可靠,還得設計失敗時的處理方式。

從商品照片建立一組可驗收測試

測試應該先固定照片與人工答案,再比較不同條件下的結果。

以下以假設的商品照片整理為例,先挑一小批可以人工完整檢查的照片。每張都留一份人工答案,包含是否有目標、目標是哪一個,以及可接受的框選位置。

照片應涵蓋正常與困難情況,例如背景乾淨、反光、遮住一角與同時出現兩件商品。因為只測清楚的正面照,容易高估實際工作中的成功情況。

題目也要跟資料一起固定。先用同一套說明跑完整批,再只改動其中一個條件,才有辦法知道結果是否因為指令變清楚而改善。

第一次可先檢查是否有目標,再對需要的位置問題做驗證。這樣若模型連物件是否存在都判錯,就不必把問題誤歸因於座標轉換。

中文說明應直接使用團隊日常的用語,避免為了測試刻意改成漂亮英文。因為真正上線後若會使用中文,驗收資料就應能代表實際輸入。

每次結果至少記下照片代號、版本、題目、回答與人工判定。若出現例外,也要保留錯誤原因,而不是只計算成功回應的比例。

接著可以把錯誤分成看不清楚、選錯物件、框偏移與指令不明。這些問題的改善方向不同,拆開看才不會把所有失敗都用重試解決。

例如照片模糊時,重送相同內容未必有幫助。此時應改成要求補拍,或把任務交回人工,而這個分流規則也要一起納入驗收。

最後再觀察人工是否真的少花時間。如果每張都要仔細重畫,模型即使能回傳合法格式,也不一定改善工作效率。

測出品質之後,才有依據估算每批工作的成本。

價格與長內容限制如何一起估算?

費用要從實際輸入量和重試次數估算,不能只看每百萬 token 的單價。

token 是模型計算輸入量的單位,不能直接當成中文字數。官方模型頁列出的輸入單價為每百萬 token 零點零四二美元,輸出 token 免費。

但這不是每張圖片或每次工作固定收費。估算時應以實際請求回傳的用量為基礎,再加上重試與額外問題帶來的輸入量,避免只套用一個檔案大小。

預設內容上限也分成整次請求與單一問題。文件列出每次請求六萬四千 token、每個問題三萬兩千 token,因此問題很多時仍要核對整體大小。

長內容模式需要另一個明確開關,會把兩種上限提高到二十六萬二千 token。因為這和圖片開關分開,所以不能以為啟用其中一個就會同時打開另一個。

官方說明長內容每 token 單價相同,但速度較慢且準確度較低。若資料其實可以先刪掉無關內容,就應比較整理輸入後是否能取得更穩定的結果。

假設商品流程只需要照片與簡短品項資料,就不必把整份歷史客服紀錄也送進去。縮小輸入能讓測試聚焦,也比較容易理解錯誤與費用來自哪裡。

即使單次呼叫便宜,只要反覆失敗,還是會增加人工時間。因此,成本表除了模型用量,也應記錄需要重做多少次、人工修正要多久。

當品質達到既定標準,再用同一批資料比較不同版本,會比只看價格更有依據。否則省下的模型費,可能不足以抵銷重新檢查照片的時間。

這些成本與限制,也決定目前適合停在哪個使用階段。

延伸閱讀:TypeSafe Use Case Map 是什麼?把 AI 從聊天工具變成可控工作流的實戰指南

常見問題:Jev 1.14 試用前還要確認什麼?

圖片功能仍有範圍限制,先回答常見問題可以減少錯誤期待。

Jev 1.14 才開始支援圖片嗎?

不是。官方圖片文件列出 1.13 與 1.14 都能接受實驗圖片,而 Box 問題需要 1.14。因此,選版本時要依實際問題類型決定,不能只看新聞標題。

可以直接用來檢查影片或聽錄音嗎?

模型文件未支援音訊與影片直接輸入。若工作來源是這些媒體,必須先另行處理成適合的資料,而其他步驟的品質與成本也要分開驗證。

框出物件,就等於內容辨識正確嗎?

位置與內容是兩種判斷。即使框在正確區域,也不能據此保證標籤文字或商品型號讀對,所以需要的內容應設成另一項驗收條件。

現在應該直接取代人工流程嗎?

官方仍把圖片與 Box 放在實驗階段。較合理的做法是先保留人工複核,當自己的資料證明可節省時間,再逐步調整處理範圍。

試用結果若能回答品質、版本與成本三個問題,才值得繼續擴大。

結語:先建立可回查的小規模試驗

目前最有價值的下一步,是用自己的資料建立可重複的判斷流程。

對資料量不大、仍能完整複核的團隊,這次更新值得安排試驗。真正要帶走的結果,是知道哪些照片能處理、哪些要補拍,以及錯誤如何回到人工。

如果任務要求每次精準定位,現在仍應把實驗能力和正式流程分開評估。等到版本、品質與成本都能回查,再決定是否增加使用量。

想持續追蹤實用的 AI 更新,可以免費訂閱 AI 郵報。

資料來源