DaisyRose-27B 本地部署要什麼顯卡?RTX 5090、NVFP4 與 DGX Spark 門檻

DaisyRose-27B 本地部署要多少顯示記憶體?比較 BF16、FP8、NVFP4 權重,解析 RTX 5090 單串流、DGX Spark 共享記憶體與 SGLang 配方,保留硬體未重新量測、工具解析及長上下文限制。

Share
DaisyRose-27B 官方插畫,白色雛菊與紅玫瑰共同拿著模型名稱牌。
RadixArk 官方模型主視覺,以雛菊與玫瑰呈現 DaisyRose-27B 名稱。 圖片來源:官方原文。

約二百七十億參數的模型,自己的顯卡裝不裝得下?DaisyRose-27B 的新部署文件,直接把 RTX 5090 與 DGX Spark 列入選項,但硬體名稱只是起點。

同一個模型有不同精度的權重,所需空間也不相同。即使檔案放得進顯示記憶體,長對話、推論快取與同時服務多人,仍可能把剩餘空間吃完。

RadixArk 在 2026 年 11 月 18 日發布這款以 Qwen3.8-27B 為基礎的模型,接著 NVIDIA 官方帳號介紹低精度權重與 SGLang 的本地硬體部署配方。

對想在自己的設備跑程式代理的人,這提供了比單看評測分數更實際的起點:先選硬體與權重,再依文件限制設定服務,最後才比較自己的任務結果。

我會把 RTX 5090 的低精度單串流設定視為可以開始測試的路徑,而不是多人長上下文服務的保證。官方也明寫,多數硬體配方沿用基礎模型,尚未用這次新權重重新測速。

要避免買錯設備或誤讀效能,先得拆開權重精度、顯示記憶體與上下文的關係,再看各張卡的部署設定。

DaisyRose-27B 的權重大小與顯卡需求怎麼看?

官方列出 BF16 約 52GB、FP8 約 29GB、NVFP4 約 23GB 的權重大小,而實際服務還需要額外運行空間。權重是模型訓練後保存的數值,精度不同,保存與計算這些數值所需的資源也會不同。

RadixArk 模型卡說明,DaisyRose-27B 以 Qwen3.8-27B 為基礎,保留架構、文字切分方式、對話模板與影像理解能力。輸入可以是文字與圖片,輸出則是文字,不能因為支援圖片就把它當成生圖模型。

這次透過強化學習改善長任務表現,使用方式仍接近基礎模型。因此,原本的執行框架可以成為起點,但換上新權重後的任務品質,仍應重新測試,而不是把「可替換」理解成每項行為完全相同。

精度影響空間,也限制硬體選擇

BF16、FP8 與 NVFP4 是不同數值精度或量化路徑。量化可理解為用較少儲存空間表達模型數值,但節省比例與運算方式取決於具體格式,不能只看到名稱有四位元,就假設所有顯卡都能直接加速。

官方明寫 NVFP4 需要 Blackwell 等具備對應四位元運算能力的硬體,SGLang 配方也沒有為 H200 提供這一格。這表示顯示記憶體夠大只是條件之一,運算架構是否支援同樣重要。

另一方面,模型檔案占二十三 GB,不代表執行時只用二十三 GB。推論過程還要保留對話狀態、運算暫存與服務框架所需空間,所以只用顯卡容量減權重大小,不能保證剩下的空間足以支撐長任務。

這款模型保留約二十五萬六千詞元的上下文級距,實際文件列出的上限為二十六萬二千一百四十四詞元。詞元是模型處理文字的單位,不等於中文字數,因此不能直接把這個上限寫成可容納相同數量的中文字。

長上下文是模型能力上限,並不保證所有單卡配置都適合開滿。當服務需要更多對話或更長回應,記憶體分配與同時工作數就得一起調整,而不只選一個下載檔案。

因此精度選擇必須跟硬體配方一起看,尤其是記憶體較緊的消費級顯卡。

DaisyRose-27B 官方插畫,白色雛菊與紅玫瑰共同拿著模型名稱牌。
RadixArk 官方模型主視覺,以雛菊與玫瑰呈現 DaisyRose-27B 名稱。 圖片來源:官方原文。

RTX 5090 與 DGX Spark 部署有什麼不同?

SGLang 文件對 32GB RTX 5090 指定 NVFP4 與單串流,DGX Spark 則提醒 128GB 記憶體同時與主機共享。單串流可理解為先以一次處理一個工作為配置重點,不能直接套成多人同時長對話的服務承諾。

SGLang 官方部署配方讓使用者選擇顯卡與權重精度後產生命令。它列出資料中心與本地硬體,但清楚區分已量測與未重新量測的配置,這個標記比只看清單有沒有你的顯卡更重要。

大部分配方沿用基礎模型,不是全數新實測

文件表示,這款模型的架構與張量形狀跟 Qwen3.8-27B 相同,所以多數格子沿用相同硬體與精度的基礎模型配方。只有指定的 GB300 搭配 DSpark 配置,註明以新權重在指定軟體版本量測,其餘仍標示未驗證。

因此 NVIDIA 官方帳號介紹本地配方,可以證明廠商提供了嘗試路徑,不能改寫成每張卡都已有相同條件的實測速度。要購買設備的人,仍應要求能對應自己工作量的數據。

RTX 5090 的重點是容量餘裕較緊。即使精度選對,長提示與額外服務狀態仍會消耗空間,所以初次測試應保留配方指定的單串流設定,先確認服務啟動與短任務穩定,再逐步增加長度。

DGX Spark 則使用與主機共用的記憶體。配方把靜態模型記憶體比例設為零點八,提醒使用者不要把一百二十八 GB 全部當成模型專用空間,因為系統與其他程式也需要資源。

RTX PRO 6000、RTX 5090 與 DGX Spark 的指定配方還有相應的注意力運算後端設定。後端可以理解為實際執行某類模型運算的軟體路徑,因此不能隨意刪掉,期待所有平台都自動選到同樣效果。

硬體比較也應保留用途差異。個人偶爾執行一個程式任務,與團隊長時間提供多個會話,需要的容量與穩定性不同,所以不能只看哪張卡能載入,再把它列成通用的購買排序。

硬體設定能幫模型啟動,但要讓代理正確使用工具,還得把推理與工具呼叫的輸出格式接好。

怎麼啟動服務並讓代理正確呼叫工具?

先選官方 SGLang 配方的硬體與精度,再保留推理及工具解析設定,避免客戶端把控制訊息當成一般文字。SGLang 是把模型提供成可呼叫服務的執行框架,這裡不需要先重新訓練模型。

官方提供 Python 套件與 Docker 兩種安裝路徑。Docker 可理解為把需要的軟體環境打包執行,對初次嘗試的人,選擇官方配方對應方式,比把不同教學的啟動參數拼在一起更容易重現。

模型卡的範例也可能使用多張資料中心卡。不要直接照抄其中的整段命令,再以為它就是消費級單卡設定,應回到配方選自己的硬體與精度,尤其要確認同時工作數、上下文與記憶體比例。

推理文字與工具動作要分開解析

這款模型預設會先思考再回答。官方客戶端範例把推理放在獨立欄位,最終答案則在另一欄,所以應保留對應的推理解析器,讓應用知道哪一部分是解答。

工具呼叫也需要指定解析設定。若沒有正確解析,程式可能只收到一段看起來像工具指令的文字,卻沒有真正取得可執行的工具呼叫結構,因此「模型說要用工具」和「應用真的執行了」仍要分別檢查。

官方配方使用適合這套對話格式的推理與程式工具解析器。對開發者而言,先測一個簡單工具並核對參數,比直接交付需要改很多檔案的長任務更容易發現格式問題。

加速解碼也有額外資源取捨

文件推薦 DSpark 推測式解碼,概念是先由草稿模型提出多個候選詞元,再由主要模型驗證,以減少部分逐字生成的等待。它需要另外下載草稿權重,不能只看主模型的空間就算完需求。

另一條 MTP 路徑使用模型內已有的多詞元預測元件,不需同樣的額外草稿檢查點。兩種路徑的參數不同,因此不宜把名稱接近的旗標互換,應使用官方生成的對應命令。

同時工作數還受模型狀態與注意力快取分配影響。快取是為了延續對話而保留的中間資料,文件提供記憶體比例計算器,並要求啟動後檢查伺服器紀錄,確認可同時處理的工作數沒有被意外壓低。

如果只看到總記憶體還沒用滿,卻不知道某一類狀態空間已成為限制,就可能把低並行度誤認成顯卡不夠快。因此應先看執行紀錄與配方條件,再調整參數,而不是反覆加大上下文。

服務可以回應以後,下一步是檢查實際任務與量測條件,因為訓練規模和測驗分數不是本地體感速度。

評測進步能直接換算成自己的工作效率嗎?

官方的長任務評測顯示改善,但使用了指定代理框架與多次測試,無法直接代表每台電腦的成功率。模型卡也說明各項測驗的重複次數與執行方法,不適合把不同測驗數字直接排成一張整體能力榜。

原始發布文章介紹約一千二百個長任務、十八天與一百四十四張 H200 的訓練配置。這些是開發方的訓練投入,不是使用者執行模型時也需要同樣設備,更不能當成本地每次請求的成本。

訓練中有些代理會話延伸到一百萬詞元,與模型保留的原生上下文上限也不同。長會話可能透過框架摘要維持工作,因此不能從訓練說明推論本地客戶端可以一次塞進一百萬詞元。

官方也介紹長任務測驗的提升,但部分比較來源採用不同版本、代理框架或設定。本文因此不把這些數字換算成全市場排名,對本地部署更有用的是拿自己的任務確認改善能否重現。

用同一個工作比較,才知道換模型是否值得

實作時可以固定同一份程式、同樣工具權限與完成條件,比較答案是否正確、需要重試幾次,以及從開始到真正完成花多久。這是本文建議的驗收方式,沒有冒稱已獨立跑過上述硬體。

若模型用了較長思考才完成工作,每秒輸出速度可能不是最重要的指標。相反地,如果答案很快卻要人重做,表面低延遲也未必減少整體時間,這就是為什麼應連人工修正一起觀察。

權重以 Apache 2.0 釋出,仍應按原始授權保留相應條件。開放下載提供了自架選項,但設備、電力、維護與代理所用外部服務,都可能形成成本,不能把權重免費理解成整套工作沒有支出。

我會先用已有設備與官方配方測試,再考慮為單一模型購買新硬體。如果長任務品質確實符合需要,且記憶體與服務穩定性都有餘裕,再擴大使用才有實際依據。

先用自己的短任務核對答案與資源使用,再逐步增加長度和工具,才能知道這張顯卡是否值得投入更多工作。

延伸閱讀:輝達 RTX Spark 迷你 AI 桌機全面開賣!華碩、戴爾、微星齊發,128GB 統一記憶體把 120B 大模型搬上桌面

延伸閱讀:Rapid-MLX 0.16.0 更新:Mac 本機模型加速,先看實驗設定再看倍數

常見問題(FAQ)

DaisyRose-27B 約二十三 GB,二十四 GB 顯卡一定能跑嗎?

不能只靠權重大小判斷。除了格式與硬體架構,服務還需要快取、執行空間與上下文餘裕,應依官方硬體配方確認,本文沒有提供二十四 GB 顯卡保證。

RTX 5090 可以直接選 FP8 嗎?

官方配方對三十二 GB RTX 5090 指定 NVFP4 才適合服務,並採單串流。不要只因 FP8 權重表面小於顯示記憶體,就忽略額外開銷。

本地硬體配方是否全部用新模型重新測過?

沒有。文件對多數配置保留未重新量測標記,指定 GB300 與 DSpark 才列出新權重的量測說明,不能把所有配方當成同條件效能證據。

訓練會話一百萬詞元,代表可直接輸入同樣長度嗎?

不代表。模型卡的原生上下文與代理長會話是不同口徑,部署應依模型上限、框架與實際記憶體設定處理。

資料來源