Nemotron 3.5 Bolt 24GB 發布：74B 模型放進本機，記憶體與速度怎麼看？
Nemotron 3.5 Bolt 以壓縮與量化讓 74B 模型朝本機代理前進。本文整理 24GB 定位、上下文與實際部署記憶體差異，說明本機模型的選擇、工具權限與測試方式。
Nemotron 3.5 Bolt 是 NVIDIA 推出的本機視覺語言模型，主打在有限記憶體下執行日常代理任務。名稱中的 24GB 很吸引人，但選設備前還要看完整部署設定。
很多人看到大型模型能放進個人電腦，就會期待資料不用上雲、使用也不再按次付費。這確實是自行部署的吸引力，但模型載入之後，仍得和瀏覽器、編輯器及其他程式共享資源。
NVIDIA 透過壓縮、量化與蒸餾降低需求，讓模型總參數達 740 億，運算時啟用約 90 億。這提供了控制成本的路徑，卻不能只用參數量推測電腦需要多大記憶體。
官方模型卡本身就列出較大的部署配置。因此，24GB 應視為產品設計目標，實際能開多長的對話、跑多少工作，仍要依執行方式判斷。
對需要本機文件處理、工具操作或可控制資料流的開發者，Bolt 值得測試。若你只是偶爾問問題，雲端服務可能更省維護時間，不必先買設備追規格。
要選對部署方式，先拆開總參數、活躍參數和執行記憶體這三個容易混在一起的數字。
Nemotron 3.5 Bolt 的 74B 與 9B 活躍參數代表什麼？
74B 代表模型總共有約 740 億個參數，9B 則表示每次處理資料時，只啟用其中約 90 億。參數是模型訓練後學到的數值設定，會影響儲存與運算需求。
根據 NVIDIA 官方模型卡，Bolt 使用混合架構，結合不同形式的運算層與專家分工，也具備處理視覺輸入的組件。
每次少用一些專家，不代表其他權重可以消失
這類專家混合模型會依輸入選擇部分組件工作，讓每次運算不必動用全部參數。但其他專家的數值仍要放在可存取的記憶體或儲存空間，才能在需要時使用。
因此活躍參數較少，主要說明一次運算的規模，不能直接當成完整模型大小。若用 9B 去估下載量或顯存，很容易低估設備需求。
Bolt 的另一個重點是量化，也就是用較少位元儲存部分模型數值。因為每個數值占用空間變小，較大的模型才有機會進入個人電腦的資源範圍。
壓縮之後仍要檢查自己的語言與任務
官方資料把英文與程式語言列為主要使用方向，另列出其他支援語言。但這不代表繁體中文文件、台灣用語或混合表格已經符合你的需求。
如果工作會讀中文合約、產品名稱或掃描資料，就把這些內容放進測試。因為語言能力和程式任務成績不同，不能拿寫程式的表現替代中文閱讀品質。
同樣地，視覺模型能接收圖片，也不代表每張圖都會讀對。細小文字、旋轉頁面與複雜表格，仍需要另外比較結果與原圖。
24GB 是什麼容量？實際部署還要留多少空間？
模型的執行記憶體除了權重，還包含對話、輸入、運算狀態與額外加速組件。因為使用方式會改變這些占用，名稱裡的數字不是所有情境的保證。
官方卡片列出最高 256K token 的上下文能力。上下文是模型一次能處理的資料範圍，提示、圖片、歷史、工具結果和回答會一起占用這個空間。
支援長上下文，不代表最低配置能開滿
一個模型支援很長的資料，不代表最低配置就能把長度開滿。當輸入增加，保存工作狀態的需求也會上升，因此部署文件常提供不同設定。
Bolt 模型卡的加速部署配方，分別列出 64K 上下文約 28GB，以及 256K 約 32GB 的記憶體配置。這些還包含特定加速方式，不能和產品名稱直接畫上等號。
以下把幾種數字的作用放在一起比較。
| 數字 | 描述的事情 | 不適合直接推論的事 |
|---|---|---|
| 74B 總參數 | 整體模型規模 | 每次都做同等運算 |
| 9B 活躍參數 | 一次啟用的規模 | 模型只需存放這部分 |
| 24GB 名稱 | 壓縮與部署定位 | 所有工作都只用這麼多 |
| 最高 256K | 支援的資料範圍 | 最低配置能同時開滿 |
表格中的區別，直接影響採購。若要邊開視訊、邊跑本機代理，就應保留其他應用程式的空間，因為模型能單獨啟動，和整台電腦用起來順暢是兩件事。
先選工作範圍，再對照兩組官方配方
模型卡的 28GB 配方，對應 RTX Spark 64GB 或具 32GB 以上顯存的獨立顯示卡；32GB 配方則對應 RTX Spark 128GB 或 48GB 以上顯存的顯示卡。這些是官方列出的組合，不是替所有設備作相容保證。
兩組配方分別使用較短與較長的上下文，也都列為一次一個同時執行序列。序列可以先理解成一段獨立生成工作，因此不能把單工配置直接當成同時服務多個人的容量。
官方還搭配另一個較小的模型來猜測後面可能生成的內容，再由主模型檢查，藉此加速。這個配套稱為 drafter，本身也要載入，所以只下載主模型，和照完整加速配方執行不同。
處理圖片時還需要視覺組件，負責把影像資訊交給語言模型。因為主模型、視覺組件與加速模型各有工作，檢查下載檔和記憶體時，應依選定配方看整組需求。
例如平常只是讀一份產品規格再整理重點，可以先從較短上下文開始，記下提示和工具結果占多少空間。若實際工作不需要長篇歷史，沒有必要為了最大數字，把所有資源先分配出去。
若任務要反覆查閱多份文件，工具回傳的內容會隨工作累積。此時除了能否放進一次輸入，也要看進行到後半段是否變慢或溢出，不能只測開場能不能回答。
同一組文件可以先問單份摘要，再問跨文件差異，最後要求指出答案所在段落。先把三步分開測，較容易找到問題來自閱讀、整合還是來源定位。
若短摘要可靠、跨文件答案卻開始漏掉條件，就先縮小每次處理範圍，或分批整理後再比較。這比立刻增加上下文更能看出瓶頸，也避免把可啟動誤認成適合日常工作。
如果文件含圖片或表格，再加入一個只能從圖中找到答案的問題，確認視覺組件確實參與處理。把純文字與圖文題分開記錄，才知道增加的等待是否換到所需能力，而不是只看整批平均速度。
生成速度也要對應完整工作
模型每秒輸出多少 token，可以描述文字生成速度，但代理還會讀檔、執行程式與等待外部工具。若主要時間花在測試程式，文字快一些未必讓任務明顯變快。
所以測試時可以分開記錄首次回應、完整答案和任務完成時間。當你知道等待發生在哪裡，才有辦法判斷要換模型、調設定，還是改善工具流程。
本機代理與雲端模型怎麼分工？
本機執行的優勢，是讓團隊更直接控制模型與資料處理環境。但代理仍可能連網、呼叫雲端工具或寫入檔案，因此「模型在本機」不等於所有資料都留在本機。
例如代理讀取內部文件之後，又把摘要交給外部搜尋服務，資料仍會離開電腦。要維持資料邊界，就得一起檢查模型、執行架構與工具設定。
把高頻小任務留在本機
可以先考慮重複整理檔案、固定格式摘要或小範圍程式修改。因為這些工作通常容易定義成功條件，也能看出本機推論是否省下等待或服務費。
若任務突然需要很大的資料範圍或較強推理，再由人決定是否交給雲端模型。這種分工的關鍵，是清楚知道什麼資料會被送出，而不是讓代理默默切換服務。
對小團隊，維護成本也要算進去。安裝更新、處理不相容版本與設備故障，都需要有人負責，所以不能只把雲端帳單和電費相比。
工具權限應比模型能力更窄
官方定位涵蓋工具呼叫、瀏覽器和終端工作，表示模型可能參與實際操作。但第一次試用時，只提供完成任務需要的範圍，較容易控制錯誤。
例如先允許讀取測試資料夾與建立新檔，不直接開放正式帳號或重要目錄。因為模型就算理解需求，也可能執行錯誤指令，所以可恢復的工作環境仍然必要。
採用前先測長文、工具與多工
第一輪測試應模仿你平常的電腦使用方式。若日常一定開著瀏覽器和編輯器，就不要關掉所有程式只為了得到漂亮成績，因為那不會反映實際體驗。
先用短文件確認基本閱讀，再逐步增加資料長度。每一階段都留下記憶體占用、回應時間與錯誤情況，才能看出設備餘裕在哪裡。
工具測試要包含失敗後的反應
可以讓代理讀取一個不存在的檔案，或執行會回傳錯誤的測試指令，看看它是否知道停止、回報原因並保留既有內容。因為正式工作不可能每次都順利，恢復能力會影響人工負擔。
也要確認它不會把工具沒有成功的結果寫成已完成。若文字說修改成功，但檔案沒有變，團隊就需要改善驗收流程，而不是只調高生成速度。
開放權重仍要閱讀使用條款
權重開放表示可以取得模型的數值資料，方便自行部署，但使用範圍仍依授權約定。Bolt 官方列出的授權是 OpenMDW-1.1，並非看到開放模型就一律適用 Apache 2.0。
企業應保存實際採用版本的模型卡與授權檔，再確認內部部署、修改及對外提供服務的條件。這樣之後升級時，也能知道是否需要重新檢查用途。
延伸閱讀
延伸閱讀：NVIDIA Nemotron 3.5 Super VL 發布：讓 AI Agent 一起看文件、影片與工具
延伸閱讀：Hermes Desktop 一鍵跑本地模型：自動偵測硬體、免終端指令，但 8B Agent 真的夠用嗎？
Nemotron 3.5 Bolt 常見問題
有 24GB 顯存就一定能用嗎？
需要對照模型版本、上下文與執行配方。官方也列出更大的部署記憶體需求，因此先在既有設備測試，比只看名稱購買更穩妥。
本機模型一定比雲端便宜嗎？
不一定。高頻固定工作可能攤低成本，但偶爾使用的人還要承擔設備與維護，所以應比較一段期間內的總支出。
可以把整個電腦交給它操作嗎？
技術上能使用工具，不代表每項操作都該授權。先限制資料與可寫範圍，再測試失敗和停止機制，才能知道代理適合接下多少工作。
先測完整日常環境，再決定本機部署規模
Bolt 的價值在於讓較大的視覺代理模型進入個人設備的討論，但採用依據仍是工作負載與整機體驗。先確認任務完成、資料邊界和維護責任，再考慮增加設備。
若想追蹤更多本機 AI、模型部署與實務比較，可以免費訂閱 AI 郵報，把新模型消息連到自己的工作需求。
