Nemotron Bolt E4B 壓進約 4GB：本機對話代理的記憶體與延遲怎麼看？
NVIDIA Bolt E4B 主打約 4GB 本機對話與工具操作，官方列出 RTX、Jetson 的記憶體和延遲。本文拆解機器人視覺分工、四成平均品質改善，以及短回覆與長快取的部署差別。
本機 AI 助理若回得太慢，再高的測試分數也很難變成自然對話。NVIDIA 在 2026 年 10 月 23 日推出 Bolt E4B，優先處理的是小記憶體裡的回應與工具操作。
官方以約四 GB 作為這款模型的部署定位，但實際記憶體會跟輸入長度、快取與硬體變動。型號裡的數字，不能直接當成任何裝置的用量上限。
這次示範讓 Reachy Mini 一邊說話一邊動作，視覺理解則由另一個 Cosmos 模型負責。因此，一個機器人的演出包含多個元件，不能全部算在語言模型頭上。
官方多項測試的平均品質提高，也減少部分情境的輸出文字。不過，平均改善沒有抹去各項任務的輸贏，裝置上的第一句等待時間仍然很重要。
有本機助理、遊戲角色或機器人介面需求的團隊適合評估，追求通用程式能力或雲端級長任務的人，則需要另外比較。
要知道約四 GB 是否足夠，先從模型負責的工作與系統裡其他元件拆起。
Bolt E4B 負責對話與工具，視覺從哪裡來？
Bolt E4B 的重點是多輪對話與工具呼叫，官方機器人示範另接 Cosmos 提供視覺資訊。工具呼叫是把模型決定轉成指定程式動作，例如查資料或播放一段動畫。
依 NVIDIA 的發布與量測說明，Bolt 新版本從 Gemma 4 E4B 接續訓練，目標是本機助理、互動角色與嵌入式設備。
這類工作需要的能力和單純回答知識題不同。使用者說一句話後，模型可能要先查應用程式狀態，再選擇動作，最後以符合角色設定的語氣回覆。
官方的 Reachy Mini 示範中，Cosmos 3 Edge 負責即時視覺理解，Bolt 則呼叫機器人的動畫程式並產生對話內容。這個分工說明語言模型不需要單獨包辦所有感知。
但它也提醒部署者，模型權重之外還有其他元件。攝影機、聲音介面、視覺模型和動作程式都需要資源，所以不能只看到四 GB 就把整個系統預算訂成四 GB。
另一個示範是遊戲裡的商人角色。它檢查付款、查製作配方，再調用工具完成製作與轉移物品，展示的是對話如何接上應用程式狀態。
這些示範不等於工具動作永遠正確。實際產品仍要限制可呼叫範圍、核對參數與執行結果，因為模型即使說得合理，也可能選錯動作或漏掉必要條件。
官方也提供對話模式，讓回答傾向簡短、適合唸出。短句能減少使用者等待，但如果刪掉重要限制，就可能影響任務，所以簡短本身並不是唯一品質目標。
角色分工清楚後，硬體記憶體就要以整條系統而非單一權重估算。
約四 GB 能涵蓋哪些部署條件？
官方量測顯示，不同輸入與快取會讓同一模型的記憶體用量跨過四 GB。這是因為執行時除了模型數值，還要保存對話計算過程和暫存資料。
模型權重是訓練完成後保存的核心數值。量化則是用較少位元保存這些數值，降低記憶體需求，但不同精度下的品質與速度仍需各自測量。
NVIDIA 的硬體表格使用 Q4_K_M 量化，且一次只跑一個工作。這個條件適合觀察單人互動，不能直接換成多人同時使用時的容量與等待時間。
以下保留同一硬體在不同輸入條件的差異，數字皆來自官方表格。輸入、輸出與快取長度皆以 Token 計，這是模型切分文字的單位。
| 裝置與條件 | 記憶體用量 | 第一個輸出等待 |
|---|---|---|
| RTX 5070，三千輸入、五十輸出 | 3.5 GB | 548 毫秒 |
| RTX 5070，三萬二千快取，加兩千輸入、二百五十六輸出 | 4.3 GB | 1,238 毫秒 |
| Jetson Orin Nano，三千輸入、五十輸出 | 4.2 GB | 5,785 毫秒 |
| Jetson Orin Nano，較長快取條件 | 4.9 GB | 6,259 毫秒 |
表裡顯示，即使是同一款模型，較長對話快取也會提高記憶體。快取保存先前處理過的內容，能幫助接續對話，卻不是沒有空間成本。
Bolt 支援六萬四千 Token 上下文，代表可帶入的資料範圍。支援這個上限不等於在最長輸入時仍只用四 GB。
因此，若產品需要長時間記住使用者對話，就應測試接近實際長度的情境。只用短問題驗證能載入，無法知道對話累積後會不會超過記憶體或明顯變慢。
官方量測採 llama.cpp 的 CUDA 執行環境和 AIPerf 工具，其他軟體版本與裝置不一定得到同樣結果。這些條件需要跟數字一起保留，才有可比較的起點。
記憶體能裝下只是起點，對話還需要確認多久能開始回答。
先回一個字與持續輸出，速度要分開算
第一個輸出等待時間與每秒生成量回答不同問題，所以不能只用輸出速度宣稱即時。前者影響人會等多久，後者影響答案開始之後能否順暢接續。
在短輸入條件下，RTX 5070 的官方結果是每秒約一百三十三個 Token，但 Jetson Orin Nano 約十五點五個。兩者的第一個輸出等待也相差很大。
這並不表示較小裝置一定不適合。若用途是背景控制或很短的回覆，可接受的等待可能不同；若要模仿自然聊天，五秒多的起始等待就需要特別處理。
語言模型的第一個輸出也不是耳朵聽到的第一個聲音。語音產品還可能包含收音、辨識與語音合成，因此整條流程的延遲通常需要另外量測。
Bolt 可以開啟推理處理較複雜要求，也能關閉以加快回覆。推理是回答前額外產生分析的過程，這個選擇讓開發者能依任務調整，卻也改變品質比較條件。
如果一邊開啟推理、一邊關閉，再把時間差全算成模型效率，就沒有固定相同工作。因此，部署測試應記錄模式，避免只保存最漂亮的速度數字。
NVIDIA 同時替 Bolt 提供 DFlash 草稿模型，讓系統先提出多個候選，再由主模型驗證。這種推測解碼可減少部分逐字生成的等待，但加速幅度與環境有關。
官方稱它相對 Gemma 原有草稿方式最高提升約兩成一吞吐。這個比較不能改寫成任何裝置、任何任務都會快兩成一，也沒有保證整條語音流程同幅改善。
在互動產品裡，簡短回答確實能縮短播放時間，但若系統需要追問三次才能完成事情，總體體驗也可能更慢。因此，速度最後還得連回任務是否做完。
在速度之外，代理是否選對工具還得回到任務測試。
平均品質提高四成，是否所有測試都贏？
提高四成是相對前代的多項平均結果，官方表格也保留了一些輸給其他模型的項目。因此，這個摘要適合看整體方向，不能拿來宣布每種任務都領先。
NVIDIA 將測試分成對話角色、多輪工具、指令控制、上下文與狀態理解等用途。它們的共同問題是，模型能否在同一段對話裡守住規則並正確行動。
例如工具測試有的檢查工具和參數是否正確，有的要求模型追蹤變動狀態，還有的觀察它何時應追問或停止。這些能力相關，卻不能由單一分數互相代替。
官方表格中，Bolt 在 BFCL-v3 的平均準確率為 68.5%，對照 Qwen 3.5 4B 為 70.9%。在 Tau2-Bench，兩者分別為 55.1% 與 75.1%。
這些結果提醒讀者，平均改善不表示工具任務全面勝出。如果產品主要工作是多輪客服，就應優先看接近客服的項目，而非只看模型較好的角色語氣。
長資料測試也有類似差異。官方 RULER 六萬四千條件中，新模型為 87.0%，前代 Nano 4B 為 91.5%，顯示整體升級仍可能在特定測量落後。
測試表主要使用 BF16 精度，而硬體速度表使用量化版本。BF16 是保存數值的精度格式，兩套資料用途不同，不能直接當成同一配置下同時取得的成績。
Bolt 的訓練也刻意同時保留推理與直接回答。Bolt 的報告表示，每批資料裡不推理與推理範例比例為二比一，目的是兼顧快速回覆和需要分析的任務，而非只優化其中一種模式。
在後續訓練過程中，回答與推理越來越長，因此團隊加入長度相關的評分調整，抑制不必要的冗長。這解釋了簡短回答為何是這次模型設計的一部分，卻仍不能保證較短答案一定完整。
官方另稱部分開啟推理的比較中，輸出 Token 最高少約八成。這表示特定比較可以少生成很多文字，但不等於所有任務費用、耗電和等待都少八成。
其中兩項用來補足對話評測缺口的測試，官方表示稍後才會釋出。所以現階段能讀到分數，也不代表每一組測試都已能讓外界自行重跑。
Bolt 的情緒角色測試也沒有全面領先。在 EQ-Bench v3，官方列出它為 39.4，Gemma 4 E4B 為 41.1，顯示角色互動仍要依不同面向拆開比較，而非將自然對話當成單一能力。
Bolt 列出三十五種語言支援，基底預訓練則接觸更多語言。兩個數字代表不同階段，不能把基底曾看過的語言都當成本次已驗證的對話支援；台灣團隊仍要用自己的語言與工具資料測試。
這些限制不會抹去小模型的進步，卻會改變使用方式。開發者可以依各項結果選擇測試情境，而不是將官方平均值直接套進產品承諾。
看懂單項差異之後，才知道哪些真實對話應放進驗收。
本機對話團隊如何設計試用？
適合從短回覆、插入工具結果與規則衝突測起，因為這些情境最接近小型對話代理的工作。先確定自己需要的是對話介面，再決定如何衡量模型。
若是遊戲角色，可以固定角色設定和物品庫存，要求模型完成交易後再檢查狀態。因為語氣像角色只是表面，物品是否正確轉移才決定功能有沒有完成。
若是設備助理，則可以讓使用者中途改變要求，觀察模型會不會沿用先前參數。這種測試比單輪問答更接近多輪工具工作，也更容易發現狀態混淆。
較長對話還應插入無關資訊，確認模型是否仍能找到當下需要的工具結果。這能對應官方強調的上下文穩健性，避免只在乾淨短提示裡看起來可靠。
硬體量測則保留輸入長度、快取、輸出長度和一次幾個工作。因為記憶體與第一句等待都會隨條件變動，缺少其中一項，就很難解釋版本為何變快或變慢。
本文沒有實際執行這些測試，也沒有把官方機器人影片當成獨立測量。對準備導入的人，最實際的下一步是用可檢查的小任務，建立自己裝置上的結果。
追求全天候本機互動的人，也需要預留其他程式的記憶體。四 GB 的定位有助降低門檻，但視覺、語音與應用程式仍要共同工作，單模型能載入只是其中一關。
只有自己的裝置同時守住等待時間與動作正確性，這個小模型才算符合部署需求。建議先從官方表格最接近的配置開始測，再逐步增加對話長度。
同一家族的另一款模型主打較大的本機代理工作，不能混用部署數字。
延伸閱讀：Nemotron 3.5 Bolt 24GB 發布：74B 模型放進本機，記憶體與速度怎麼看？
若要判斷少輸出文字能不能縮短工作，也可以對照另一款本機模型的測試口徑。
延伸閱讀：Tess-4.5 本機模型開放權重：與 Qwen 並列總分，較少輸出能省多少時間？
Bolt E4B 常見問題
Bolt E4B 可以直接看攝影機嗎？
本次機器人示範由 Cosmos 3 Edge 處理視覺，再把資訊提供給對話模型。不能因此把整個系統的看圖能力都歸給 Bolt。
四 GB 是否代表所有四 GB 顯示卡都能執行？
不是。實際需求還包含上下文與暫存，官方部分配置也超過四 GB，軟體與硬體相容性仍需核對。
官方四成改善是否代表所有回答都比較好？
它是相對前代多項測試的平均摘要。各項任務仍有輸贏，而且結果是 NVIDIA 自行報告，實際使用應優先測最接近的工作。
