SiMa.ai 發表 Palette 3.0 邊緣 AI 平台!導入推測解碼與容器隔離,離線文字生成速度飆升 3.5 倍

實體 AI 晶片廠 SiMa.ai 推出 Palette 3.0 軟體套件,在 Modalix MLSoC 導入 Docker 容器隔離與 EAGLE3 等推測解碼技術,在 10 瓦內功耗實現最高 3.5 倍文字生成提速。

Share
Palette 3.0官方發布新聞圖片:Palette 3.0
Palette 3.0官方發布與報導畫面。 圖片來源:官方原文。

提到 Palette 3.0,很多人以為跑大型語言模型一定要靠吃電怪獸級的雲端資料中心,但對於無人機、工業機器人與自動駕駛設備來說,斷網時還能不能在不到 10 瓦的功耗下快速思考,才是決定生死的關鍵。

2026 年 11 月 17 日,SiMa.ai 正式發表 Palette 3.0 邊緣 AI 軟體平台,專為旗下的 Modalix 機器學習系統單晶片打造。

這次重大更新專為旗下的 Modalix 機器學習系統單晶片打造,主打讓複雜的多模型代理在離線邊緣端流暢運行。

在效能數據上,新版軟體平台 交出極為亮眼的成績單。

透過導入先進的推測解碼演算法,晶片在離線狀態下的文字生成吞吐量最高飆升了 3.5 倍,而且整顆晶片依然穩穩壓在 7.5 瓦至 10 瓦的極低功耗範圍內。

更貼近真實工程需求的改變,是這套平台終於在一顆邊緣晶片上實現了「多模型併發執行」與「Docker 容器隔離」。

這代表開發者可以把視覺辨識、深度感知與語言推理各自裝進獨立容器裡同時跑,不必再互相搶資源。

對台灣的工業電腦、機器人與無人機供應鏈而言,這項進展說明邊緣 AI 正在從過去「只能做簡單影像辨識」跨入「本地端多模態推理」的新階段。

接下來我們會拆解 新版軟體平台 如何把生成速度拉高 3.5 倍、單晶片併發容器的設計巧思、新增的視覺與感知管線,以及既有開發者升級時必須注意的遷移門檻。

功耗不到 10 瓦卻提速 3.5 倍:推測解碼怎麼辦到的

在邊緣裝置上跑大型語言模型或視覺語言模型,最大的物理瓶頸從來不是算力不夠,而是記憶體頻寬太窄、每吐出一個字元都要重新讀取龐大權重,導致反應速度慢如牛步。

新版軟體平台 這次能夠把每秒產出的詞元速度拉高 3.5 倍,核心秘密就在於導入了多項最新推測解碼技術,包含 EAGLE3、DFlash 以及 Gemma 4 多詞元預測架構。

所謂推測解碼,白話來說就是「找一個極輕巧的小草稿模型先快速猜出接下來幾個字,再交給主模型一次平行驗證對不對」。

因為驗證多個字元的計算可以一次併行完成,大幅減少了反覆搬運記憶體權重的等待時間。

這讓原本只能在雲端流暢對話的模型,現在就算塞進電池供電的無人機或工廠巡檢機器人裡,在 7.5 到 10 瓦的散熱極限內,也能維持即時互動與決策反應。

延伸閱讀:DEEPX DX-M2 採用三星 2 奈米定案:僅 5 瓦功耗跑生成式 AI,邊緣晶片戰開打

Palette 3.0官方發布新聞圖片:Palette 3.0
Palette 3.0官方發布與報導畫面。 圖片來源:官方原文。
SiMa.ai 官方發布 Palette 邊緣實體 AI 平台示範影片,非本站實測。 來源:官方 YouTube。

Docker 容器隔離與單晶片多模型併發執行

真實的實體 AI 應用從來不是只跑單一模型就夠了。

一台在工廠穿梭的自主移動機器人,同一秒鐘必須一邊看攝影機畫面避障、一邊估算三維空間深度、同時還要理解人類操作員的語音指令。

新版軟體平台 針對這項痛點,正式支援在 Modalix MLSoC 單顆晶片上同時運行多個互相隔離的 Docker 容器。

這讓不同的軟體團隊或應用程式管線,可以安全地共用同一套硬體加速器與視訊處理引擎,不會因為其中一個服務當機或升級而拖垮整台設備。

搭配新加入的「模型登錄庫」與瀏覽器介面,工程師在部署前就能直接根據真實的功耗預算,客觀評測各個模型組合在晶片上的實際吞吐表現,省下大量手工調校時間。

平台升級項目 Palette 3.0 新特性 解決的邊緣運算痛點 對終端產品的實際價值
文字生成加速 整合 EAGLE3、DFlash 與 Gemma 4 MTP 傳統邊緣端 LLM 受限記憶體頻寬而卡頓 離線詞元生成最高提速 3.5 倍
系統架構隔離 支援單顆 Modalix 晶片多 Docker 容器併發 多團隊開發的感知與推理模組容易衝突 視覺、深度與語言代理可獨立維運
視覺處理密度 單晶片最高支援 60 路獨立 720p 視訊串流 多鏡頭無人機與智慧工廠影像處理吃重 支援代理式 ISP 調校與 BEV 鳥瞰核心
驗證與模擬工具 整合感測器融合、神經深度場與數位孿生 實體機器人實地測試風險高、驗證慢 提供閉環數位孿生模擬,加速上市

延伸閱讀:宇樹發表 UnifoLM-X2 世界模型:全球首創全自主人形機器人格鬥深度解析

Palette 3.0 的 60 路視訊串流與閉環數位孿生能力

除了語言與文字加速,SiMa.ai 在 新版軟體平台 也大幅強化了電腦視覺與自主導航的底層管線。

單顆 Modalix 晶片現在最高能同時處理 60 路獨立的 720p 高畫質影像串流,並導入最佳化的鳥瞰視角運算核心,消除三維環境感知常見的延遲瓶頸。

更實用的功能是「代理式影像訊號處理器調校」。

過去設備換了不同光線環境,工程師往往得重新編譯韌體才能調好攝影機曝光與對比;現在系統能動態微調影像參數而無須重新編譯,大大提升戶外設備的適應力。

針對企業最頭痛的自動化驗證問題,新版軟體平台 也把感測器融合、密集神經深度場與閉環數位孿生模擬直接整合進平台,讓開發團隊在把機器人放進真實產線前,就能在虛擬環境裡跑完極端情境測試。

既有開發者注意:升級至 3.0 須面對的完整遷移成本

雖然 新版軟體平台 效能誘人,但 SiMa.ai 也坦承這次底層架構改動幅度極大。

對於目前正在使用舊版(例如 2.1.3 版)的客戶來說,沒辦法直接原地按下升級鍵就無痛過渡。

系統從舊版遷移至 3.0.0 版本時需要進行完整系統重建,所有原本寫好的原生應用程式都必須針對新版元件重新編譯與測試。

因此對於已經量產出貨、運作穩定的現有工業設備,是否要立刻跨代升級,建議先由研發部門評估專案週期與測試人力後再行決定。

常見問題 FAQ

SiMa.ai Palette 3.0 是給一般桌機顯卡用的軟體嗎?

不是。

新版軟體平台 是 SiMa.ai 專為自家低功耗 Modalix 機器學習系統單晶片開發的軟體開發與部署套件,鎖定無人機、機器人與邊緣運算設備。

為什麼邊緣裝置跑大模型需要「推測解碼」?

因為邊緣晶片受到散熱與功耗限制(通常在 10 瓦以內),無法像資料中心一樣堆滿昂貴的高頻寬記憶體;推測解碼可以用小模型先猜字、大模型一次驗證的方式,把生成速度拉高 3.5 倍。

Palette 3.0 支援 Docker 容器對企業開發有什麼好處?

開發團隊可以把影像辨識、路徑規劃與語言對話拆成獨立容器部署在同一顆晶片上,彼此資源隔離、互不干擾,維護與更新軟體的速度會快上許多。

舊版 Palette 用戶可以直接一鍵無痛升級嗎?

不行。根據技術說明,從 2.1.3 等舊版本升級到 3.0.0 需要進行完整遷移,既有的原生應用程式必須依據新版架構重新建置與驗證。

對邊緣運算團隊來說,及早規劃新版系統驗證流程將能縮短跨代轉換的陣痛。

尤其在工控與無人機這類驗證週期長達半年的產品線,因此提前在實驗室建立對照組測試環境更顯重要。這能幫助工程團隊在正式導入量產機台前,先量化不同模型組合在極限溫度下的功耗穩定度與推論延遲變化。

結語

SiMa.ai 發表 新版軟體平台,清楚展示了 2026 年邊緣 AI 晶片的競爭已經從「單純比算力 TOPS 數字」,全面轉向「軟體堆疊是否能同時駕馭多模態大模型、容器隔離與極致能效」。

在不到 10 瓦的功耗下實現 3.5 倍離線文字生成加速,讓高階實體 AI 真正具備走進各行各業現場的條件。

對台灣的工業電腦大廠、智慧製造與無人機業者而言,密切追蹤這類低功耗邊緣晶片平台與推測解碼技術的成熟,將有助於在明年的邊緣裝置換機潮中搶占先機。

如果你想掌握更多邊緣 AI 晶片與實體機器人產業動態,歡迎免費訂閱 AI 郵報,或點擊下方延伸閱讀了解最新低功耗晶片戰局。

資料來源

Read more