AMD NPU 能跑哪些本地模型?Unsloth 新支援的記憶體門檻與設定教學

AMD NPU 能跑哪些本地模型?Unsloth 新支援 XDNA 2,整理 Ryzen AI 處理器、Windows 與 Linux 條件、各模型建議記憶體、Q4NX 格式與啟用步驟,並釐清官方功耗宣稱與實際購機判斷。

Share
黑色背景上的 AMD 與 Unsloth 白色合作標誌。
AMD 官方合作主視覺,呈現 Unsloth Desktop 新增 AMD NPU 推論支援。 圖片來源:官方原文。

筆電規格寫著 NPU,日常的本地聊天卻經常還是讓顯示晶片忙碌。AMD NPU 這次與 Unsloth 的整合,讓這塊專用運算單元多了一個比較容易使用的入口。

不過,有 NPU 的電腦不一定都符合條件。這次支援從 AMD XDNA 2 開始,而模型還需要相容格式、驅動程式與足夠記憶體,不能只看機身貼著 AI PC 標籤。

AMD 與 Unsloth 在 2026 年 11 月 19 日公布新整合,透過 Unsloth Desktop、Lemonade 與 FastFlowLM,把支援的本地模型回應提供給一百多種相容應用及工作流程。

對已經有合適電腦的人,價值在於讓 NPU 處理持續的模型推論,把 CPU 與 GPU 留給其他工作。這是增加運算分工選項,不代表整套代理只靠 NPU 運作。

我會先用較小模型確認硬體辨識與回應品質,再增加上下文或工具任務。官方的功耗優勢與速度表仍需要放回型號、模型和使用方式比較,不能直接換算成你的續航提升。

因此,挑模型之前要先盤點處理器與記憶體,因為能下載模型、能載入模型,以及可以順暢處理日常任務,是三個不同的門檻。

哪些 AMD NPU 與系統符合條件?

本次官方文件列出含 XDNA 2 或更新 NPU 的 Ryzen AI 300、Ryzen AI Max 與 Ryzen AI 400 系列,並支援 Windows 11 或 Linux x64。

NPU 是處理器內專門執行 AI 計算的運算單元,所以不能只看電腦有 AMD 處理器就判定符合條件。

AMD 十一月十九日公告說明,XDNA 2 是 Unsloth Desktop 首次支援的 NPU。這次的入口是桌面應用程式,後端由 Lemonade 與 FastFlowLM 負責服務與執行支援的模型。

這裡的「服務」是把模型回應提供給其他應用,不是讓一百多種應用全部改寫成 NPU 原生程式。聊天或代理透過共同介面提出請求,NPU 處理模型推論,其他工作仍可使用 CPU 與 GPU。

推論就是用已訓練好的模型產生回應。這與訓練模型、生成圖像或執行整個代理程式不同,所以即使模型回應來自 NPU,也不能推論瀏覽網頁、操作工具與資料同步都只靠這塊運算單元完成。

Windows 與 Linux 要檢查的項目不同

Windows 使用者先確認處理器型號與 NPU 驅動版本,Linux 使用者則還需要檢查核心與驅動程式。官方指南列出核心七點零以上搭配 amdxdna,或較舊核心使用對應的 DKMS 驅動方式。

Linux 另有韌體與記憶體鎖定額度要求。記憶體鎖定可理解為讓執行環境保留必要記憶體的系統條件,若額度太低,即使處理器本身支援,初始化仍可能失敗,不能只靠重裝模型解決。

官方表示啟用時會檢查驅動、韌體、核心及相關設定,缺少條件會提供提示。因此遇到失敗,先依錯誤所指的項目排查,比一次調整所有系統參數更容易知道問題出在哪裡。

確認處理器後仍不能直接下載最大的模型,因為可用記憶體才決定實際能留下多少對話與工作空間。

黑色背景上的 AMD 與 Unsloth 白色合作標誌。
AMD 官方合作主視覺,呈現 Unsloth Desktop 新增 AMD NPU 推論支援。 圖片來源:官方原文。

本地模型要幾 GB 記憶體才夠?

先看官方建議 RAM,而不是把模型下載大小當作整台電腦的需求,兩者中間還隔著載入與運行開銷。RAM 是系統記憶體,這次 NPU 模型會使用電腦整體資源,所以作業系統與其他應用也要保留空間。

Unsloth 的 NPU 指南把模型大小與建議記憶體分開列。這個區分很重要,因為下載一個不到二十 GB 的模型,不代表一台二十四 GB 的電腦就一定能按理想設定服務。

以下用官方清單中的幾個級距,整理挑選時最直接的差異。

模型 官方列出的檔案大小 官方建議 RAM
LFM3-1.7B-NPU2 1.5GB 16GB
Qwen3.5-9B-NPU2 7.6GB 32GB
Qwen3.8-27B-NPU2 18.1GB 48GB
Qwen3.6-35B-A3B-NPU2 20.6GB 64GB

表中的建議是開始評估的依據,不是對所有工作負載的容量保證。上下文越長,模型要記住的提示、歷史訊息與回應越多,也可能增加運行時的記憶體需求。

例如要整理一小段文字,與讀取長篇文件再連續追問,需要的工作空間不同。如果只測試「你好」能否回應,就決定整台電腦足以處理長期代理任務,會忽略這個差別。

先用較小模型確認,再增加長度

對只有十六 GB 記憶體的相容電腦,可以從官方同級建議的小模型開始,先驗證 NPU 正常運作。能啟動只是第一關,接著還要用日常問題確認回應品質是否足夠。

如果工作需要讀圖片,也應選具備對應能力的模型,而不是單看參數最多的一款。參數數量描述模型規模,不能替代用途適配,較大的文字模型不會因此自動支援所有影像或音訊任務。

指南也列出不同模型的速度與第一個回應等待時間,但沒有在該表完整交代共同測試機型與請求條件。因此可以用它理解官方提供哪些數字,不能把它當成自己電腦的速度承諾或公平硬體排行。

模型和記憶體搭配好以後,才進入啟用流程,這樣遇到錯誤也比較容易知道是驅動還是容量不足。

Unsloth 怎麼啟用 NPU 並接到聊天工具?

在模型選擇器篩選 NPU,啟用後依提示完成執行環境與驅動檢查,再下載相容模型。官方說明這個一次性設定會取得 FastFlowLM 並檢查驅動,之後可從 NPU 清單選擇支援模型。

模型格式與設定要配合執行環境

這次支援使用 Q4NX,也就是為 FastFlowLM 準備的四位元模型格式。它與常見 GGUF 不同,因此不能把任意 GGUF 檔案直接丟進 NPU 清單,就期待能執行。

官方提供把支援的 GGUF 轉成 Q4NX 的路徑,但自行轉換模型直接出現在 NPU 清單的流程仍有限制。若第一次嘗試,先選官方清單已列出的模型,會比同時處理新格式與自訂模型更容易定位問題。

載入前可以設定上下文長度。預設 Auto 依模型載入時剩餘記憶體安排,因此若同時開著其他大型應用,條件也會不同。需要比較兩次結果時,應記下當時的模型、長度與其他工作狀態。

電源模式有省電、平衡、效能與 Turbo,執行環境預設為效能模式。這讓使用者可以依插電或電池情境調整,但選 Turbo 並不能消除記憶體不足,也不表示所有模型都以相同比例變快。

指南還有提示分段讀取與影像預縮放設定。前者影響開始回應前如何讀取長提示,後者在速度與圖片細節間取捨,因此看小字圖表與一般照片時,適合的縮放設定可能不同。

提示分段長度與上下文上限也要分開理解。分段長度決定每次先讀多少詞元,長提示可以分多次處理,並不是超過一個分段就直接截斷。上下文上限才限制整體能容納的提示、對話與回應,因此兩個設定不能互相替代。

修改設定後要重新載入模型才生效。如果改了電源模式卻直接拿前一次已載入狀態測速,就可能把沒有套用的新設定當成實驗條件,讓比較失去意義。

接到應用程式的是模型介面

需要連接其他聊天工具時,可以使用 Unsloth 的 API。API 是供應用程式呼叫模型的介面,這裡採相容 OpenAI 的格式,讓支援自訂模型伺服器的工具能送出請求。

終端機也可用官方 unsloth run 指令啟動模型服務,再依執行時印出的位址與金鑰設定客戶端。位址、金鑰與模型名稱是不同欄位,應以當次執行資訊為準,不要把別人的示例直接當成自己的設定。

不需要模型時可以卸載,官方說明這會釋放它占用的運算資源,退出 Unsloth 則停止受管理的執行環境。若平常同時使用很多應用,這些載入與釋放狀態也值得留意,因為可用資源會跟著改變。

執行環境的下載版本固定,並以檔案雜湊檢查完整性。這能協助確認取得預定檔案,但模型、驅動與工具仍有自己的更新週期,所以排查問題時應一起記錄版本,避免把不同軟體組合的測試當成同一條件。

官方表示受管理的 Lemonade 服務只接受本機連接,且每次啟動使用新的驗證金鑰。這是本機服務本身的保護,不表示連接它的外部工具沒有自己的雲端紀錄、搜尋服務或資料同步功能。

例如代理使用本地模型理解文件,後續仍可能呼叫網路搜尋或外部服務。因此需要本機資料留存的人,要把完整流程一起檢查,不能只因模型選在 NPU,就認定所有資料完全不離開電腦。

同一個模型能接到不同應用,但回應快慢與整體耗電仍要放在自己的完整工作流裡量測。

NPU 比 GPU 省電,就值得為它換電腦嗎?

對已有相容硬體的人,先測試是合理選擇,但購機前仍應比較真實任務的完成速度、記憶體與成本。Unsloth 提到每次詞元生成的能源優勢,詞元是模型處理文字的單位,與整台電腦一天的電費或電池續航並不相同。

本次官方宣稱相較傳統 GPU,NPU 每詞元能源消耗可降低,但公開頁面沒有提供足以讓本文重建完整共同條件的測試設計。因此本文不把它換算成續航倍數,也沒有自行重跑功耗測試。

對同時需要 GPU 算圖、遊戲或剪片的人,NPU 的另一個價值是分工。模型可以留在 NPU 回應,而顯示晶片繼續處理原本的工作,這種資源安排是否有幫助,要看兩邊一起使用時是否更順。

比較時可以固定同一份文件與提問,記下開始回應的等待、整題完成時間、答案品質與電源模式。若只看每秒輸出多少字,卻忽略模型答錯或需要重問,仍無法反映真正完成工作的成本。

模型免費下載,不等於本地使用零成本

本地路徑省去的是某些雲端模型呼叫的使用方式,但硬體、耗電、儲存空間與維護時間仍存在。若主要工作很少發生,為了一項新功能換整台電腦,未必比使用既有設備與合適服務划算。

相反地,如果手邊已有支援的 Ryzen AI 電腦,先從小模型測試,就能以較低新增投入了解效果。只有當真實工作反覆碰到記憶體或速度瓶頸,才有理由進一步比較更高記憶體配置。

我會把這次更新看成讓既有 NPU 更容易被使用的軟體進展,而不是所有人都該升級的購機訊號。想繼續研究本地模型,還可以比較量化版的記憶體需求與訓練用途,避免把不同工作所需資源混在一起。

把可用硬體、模型品質與任務耗時一起考慮,才能判斷這項更新是否真的適合自己的本地工作。

延伸閱讀:Unsloth 讓小模型學會做決策:4GB 顯示記憶體能訓練什麼,74.3% 又代表什麼?

延伸閱讀:MiniMax M3.1 Flash 2-bit 本機部署:Unsloth 量化版需要多少記憶體?

常見問題(FAQ)

只要是 AMD NPU 都能用這次支援嗎?

不能這樣推論。本次條件從 XDNA 2 或更新 NPU 開始,還要配合官方列出的處理器、作業系統與驅動要求,較舊架構不能只憑品牌判定可用。

下載檔十八 GB,二十四 GB 記憶體就一定夠嗎?

不一定。模型檔只是部分需求,還有載入、上下文、系統與其他應用空間,應先參考該模型的官方建議 RAM,再測自己的實際任務。

NPU 可以直接取代 GPU 訓練模型嗎?

本次整合重點是支援模型的推論。訓練、圖像影片與其他 GPU 工作仍是不同路徑,不能把新增 NPU 模型回應理解成所有工作都已轉移。

接上本地模型後,代理就完全離線嗎?

不一定。模型可在本機推論,但代理的搜尋、連接器與其他服務仍可能使用網路,應依完整工作流程判斷資料處理位置。

資料來源