NVIDIA Nemotron 3.5 Super VL 發布:讓 AI Agent 一起看文件、影片與工具

NVIDIA Nemotron 3.5 Super VL 結合文字、圖片、文件、影片理解與工具使用。本文解釋 120B/12B 參數、官方效能口徑、企業客製化與文件辨識的驗收方法。

Share
NVIDIA Nemotron 3.5 Super VL 官方主視覺
NVIDIA Nemotron 3.5 Super VL 官方主視覺。圖片來源:官方原文。

Nemotron 3.5 Super VL 要處理的是 AI Agent 的常見難題,資料讀錯了,後面再流暢的操作也會出錯。發票漏看一行、表格認錯欄位,都可能讓自動化流程重做。

NVIDIA 在 2026 年 10 月 15 日發布這個模型,把文字、圖片、文件與影片理解,和推理、工具使用放在一起。

AI Agent 是會為了完成任務而調用工具的系統。例如先讀文件,再查資料,最後把結果寫進表格,模型只是其中負責理解與判斷的一部分。

過去把多個模型串起來時,團隊還要處理彼此傳遞的資料。現在能力集中到同一個模型,有機會減少交接,但仍需要用真實任務驗證。

對文件工作量大、又有自訂流程的團隊,這次更新值得列入測試。若需求只是偶爾摘要一份文件,直接使用既有服務通常更容易開始。

要知道它能省下多少工作,先看同一個模型理解資料並操作工具,會改變流程的哪一段。

Nemotron 3.5 Super VL 同時讀資料、用工具,有何用處?

把視覺理解與工具使用放在一起,主要是為了讓模型在採取下一步行動前,能直接參考原始畫面。它可以讀取圖表、頁面配置與文字,再依工作要求呼叫工具。

例如一份採購文件可能同時包含報價表、備註與掃描附件。只抽出文字,容易把欄位關係弄丟,所以模型需要理解資料在頁面上的位置。

官方技術文章列出的用途包含程式開發、網路研究、文件處理與影片理解。這些是模型的能力方向,實際流程仍須由開發者設計。

讀懂圖片,不等於可以省掉原圖核對

模型辨識出的文字仍可能錯誤,尤其是小字、低解析度掃描與複雜表格。如果下游工作會因一個數字錯誤而受影響,流程就應保留回到原圖的位置。

例如擷取發票金額,可以同時保存頁碼、欄位座標與原始畫面,讓人工檢查集中在有疑慮的地方。這是建議的驗收方式,不是官方已保證提供的功能。

因為模型能讀更多種類的輸入,團隊也更需要清楚界定任務。要求「整理整份資料」太模糊,改成要核對的欄位與例外情況,才容易判斷是否完成。

輸入與目標確定後,才有辦法比較它到底比原本流程快多少。

NVIDIA 官方吞吐量比較圖,描述特定硬體與測試條件,不能直接當成所有工作的完成時間。
NVIDIA 官方吞吐量比較圖,描述特定硬體與測試條件,不能直接當成所有工作的完成時間。 圖片來源:developer.nvidia.com 官方素材。
官方原始圖片/影片,來源:NVIDIA AI 官方 X 帳號。

官方速度與客戶案例,該怎麼讀?

官方效能數據描述的是特定測試條件,不能直接當成所有企業的預期收益。硬體、同時使用人數、文件長度與工具等待時間,都會改變結果。

官方報告在單張圖形處理器上,相較同規模的其他開放模型,Agent 任務吞吐量最高可提升五倍。這是特定比較條件下的上限,因此不能套用到所有硬體與工作。

模型採混合專家架構,總參數為 120B,每個 token 啟用約 12B。這種架構有多組處理模組,每次只選部分參與計算。B 代表十億,token 是模型處理內容的單位,所以總容量與每次動用的容量要分開看。

以下整理幾種數字對應的意義,避免把不同測量混在一起。

數字類型 能回答的問題 不能直接推論什麼
輸出吞吐量 同一時間能處理多少輸出 每份工作都更快完成
第一段回應等待時間 使用者多久開始看到回應 整項任務的總時間
特定任務準確率 測試集合答對多少 公司所有文件的正確率
客戶預期改善 特定導入方案的目標 已普遍實現的成效

表格中的區別會直接影響採購判斷。假如文件分析只占總時間的一小部分,模型快了幾倍,整個流程也可能只縮短一小段。

NVIDIA 的文章包含合作夥伴客製化案例,其中部分使用「預期」改善的表述。讀者應保留這個條件,不能把導入目標改寫成所有客戶已經達成的成果。

同樣地,模型在某項圖表理解評測表現較好,代表值得測試相近工作,但無法代替公司自己的資料。測試題目分布不同,答案也可能不同。

客製化之前,需要準備哪些資料?

企業客製化的起點,是整理出公司認為正確的作法。模型若沒有看過一致的範例,工具再多,也可能沿用錯誤的操作順序。

NVIDIA 提供 NeMo 工具及相關資料,讓團隊可以進一步訓練。這裡的訓練,是透過範例或回饋調整模型行為,和只在對話裡加一段指示不同。

先把政策變成可判定的例子

例如退費處理,需要分清楚訂單日期、商品狀態與例外條款。若同一個情境在內部也有兩種相反答案,應先解決規則,而不是讓模型猜哪個部門說了算。

資料也要保留失敗案例。只提供整理得很乾淨的文件,容易讓評測看起來漂亮,但正式上線後最花時間的,可能恰好是那些模糊、缺頁或格式不同的資料。

工具介面則要說明允許哪些操作。如果工作只需要查詢,就不應同時開放修改權限,因為模型理解正確與操作範圍適當,是兩個不同的要求。

在這些基礎工作完成前,先以提示與現有模型跑出小範圍基準,通常比立即投入大量訓練更容易找到主要問題。

延伸閱讀:NVIDIA Nemotron 3.5 Lightning 是什麼?NeMo Switchyard 讓 AI Agent 自動選模型。

用錯誤成本,決定試用順序

我會先測需要看圖與查資料、但結果能由人快速複核的任務。這樣能驗證整合能力,也比較容易知道錯誤發生在辨識、推理或工具操作哪一步。

測試可以從同一批文件開始,保留原圖、期待欄位與正確答案,再讓原流程和新模型各處理一次。比較時要計入人工修正,不能只看模型第一次回應。

若是影片工作,應先固定要找的事件與時間範圍。例如搜尋某個操作片段,就檢查模型指出的時間點是否真的出現那個動作,而非只評估摘要讀起來是否合理。

完成後,將錯誤分成看錯內容、推論錯誤、工具參數錯誤與操作未完成。不同問題需要不同修法,把它們全算成「AI 不準」,反而不容易改善。

什麼結果才值得擴大?

團隊應在試用前訂出可接受門檻,例如哪些欄位不能錯、哪些例外一定交給人。門檻由工作影響決定,不能等跑完後再挑有利的指標。

如果模型省下的人工時間,大於檢查與維護增加的時間,才有擴大的理由。如果錯誤集中在高影響欄位,即使整體正確率很好看,也應先處理那一類問題。

這種驗收方式,也能讓後續版本比較有依據。每次模型更新都用同一組代表性案例測試,才知道改善是否真的發生在自己的工作上。

複核應集中在最容易出錯的欄位

同樣是文件工作,金額、日期與備註的錯誤影響可能不同。因此,驗收表應分欄記錄,避免大量容易辨識的文字,把少數重要欄位的失誤稀釋掉。

例如一百份文件中,九十九份都讀對名稱,但有一份付款金額錯了,整體比例看起來仍然漂亮。是否能接受這個結果,要看金額會被拿去做什麼,而不是只看總平均。

若發現錯誤集中在特定版型,可以先把那類文件交給人,再累積修正範例。這樣能讓可處理範圍逐步擴大,也避免一次更換整條流程後,才發現例外無法處理。

模型輸出的欄位也應保留缺值,不能為了表格完整而補猜。因為下游程式往往會把格式正確的資料直接採用,空白與有根據的數字,對工作流程有不同意義。

Nemotron 3.5 Super VL 常見問題

可以直接取代所有文字與視覺模型嗎?

它把多種能力放在同一模型,能減少部分系統交接。但小型文字任務、複雜規劃或特殊辨識,仍可能適合不同模型,應依實際結果分工。

12B 啟用參數,代表只要放得下 12B 就能跑嗎?

不能這樣換算。啟用參數描述每次計算動用的部分,完整權重、暫存與輸入資料仍會占用資源,部署需依官方支援配置評估。

官方提到五倍吞吐量,就代表工作快五倍嗎?

不代表。吞吐量是特定條件下的輸出能力,整項工作還包括資料載入、工具等待、檢查與重試時間。

公司沒有訓練資料,還能開始嗎?

可以先用少量已知答案的案例做比較,找出主要錯誤。是否需要進一步訓練,應由這些結果決定,而非一開始就預設必須客製化。

先驗證原圖到結果的整段流程

Nemotron 3.5 Super VL 值得注意的地方,是讓文件與視覺資料更直接參與 Agent 的判斷。文件工作量大的團隊,可以從一項可複核的任務開始,記錄品質、時間與人工修正。

訂閱 AI 郵報,持續追蹤開放模型的實際部署與工作流程更新,再依自己的案例決定是否導入。

延伸閱讀:Reason Agent 1.1 比較 Codex:同一模型,為何寫程式的成本仍會不同?。

資料來源