TensorFold 1.2.9 加入 Ollama 相容介面:多路本機模型服務,速度與結果怎麼驗?

TensorFold 1.2.9 新增Ollama相容API與TOML啟動配置,改善指定模型的多路輸出與錯誤處理。分清M5 Ultra合計吞吐、CUDA長提示及HIP測試條件,整理接入與回歸方式。

Share
TensorFold 作者發布1.2.9的官方圖片
TensorFold 1.2.9 作者發布圖,圖內倍速限定 M5 Ultra、指定 Nemotron 與24路合計輸出。 圖片來源:官方原文。

TensorFold 1.2.9 讓本機模型多了一組 Ollama 相容入口,也把啟動設定搬進可保存的檔案。想把同一台電腦交給多個代理使用,除了能接上,還要看同時請求是否保持正確結果。

作者在 2026 年 11 月 15 日發布新版本,列出相容聊天、生成、向量與模型查詢介面,並改善特定硬體上的多路輸出。這次更新的是模型執行服務,並非重新發表一份模型學到的數值,也就是模型權重。

官方在 M5 Ultra、特定 Nemotron 模型與二十四路同時輸出的條件下,報告合計吞吐增加約三點二至三點五倍。合計產出變多,不等於單一使用者的每次回答都快同樣倍數。

配置也有影響行為的改動,例如不支援的影片輸入會明確拒絕,關閉思考時的提示設定也有修正。只確認一個聊天請求成功,不能代表舊應用的每條路徑都一致。

我會先把一項既有工具接到相容入口,保存啟動配置,再比較單路與多路結果。若工作只需要偶爾一次回答,應先看自己的延遲,別把伺服器總吞吐當成個人速度承諾。

要判斷新版本能否降低接入成本,先看相容入口覆蓋什麼,再看設定與測速各自能保證多少。

TensorFold 用相容入口接既有模型工具

Ollama 相容路徑讓既有客戶端有另一個入口,仍由 TensorFold 引擎執行模型。

本機模型服務需要同時面對兩端:一端是實際執行模型的引擎,另一端是編輯器、聊天畫面與代理程式。只要兩端說的請求格式不同,就可能需要另外寫一層轉接,增加維護負擔。

新版列出的路徑包括 /api/chat、/api/generate、/api/embed,以及查詢模型資訊與狀態的入口。這裡的 API 是讓程式送出請求的介面,名稱相容有助於讓原本使用相近格式的客戶端開始接入。

官方說明,這些新路徑走的是和 OpenAI 格式介面相同的模型引擎。這表示改變客戶端入口,並不等於同時換掉底下執行的模型,也不代表安裝了另一份 Ollama 服務。

相容範圍仍應逐項比較。聊天、文字生成與向量輸出有不同資料結構,客戶端也可能依賴額外選項。能取得模型清單,只證明其中一個查詢入口可用,不能替實際對話、串流或工具呼叫背書。

最合適的第一步,是挑一個已能工作的舊工具,固定模型名稱與輸入,改接新入口後比較輸出欄位及錯誤回應。先讓相容性有一個小而完整的案例,再增加依賴更多選項的工作。

入口能連上之後,模型名稱與啟動條件還需要被固定。

TensorFold 作者發布1.2.9的官方圖片
TensorFold 1.2.9 作者發布圖,圖內倍速限定 M5 Ultra、指定 Nemotron 與24路合計輸出。 圖片來源:官方原文。

TOML 保存啟動配置,讓重跑有相同起點

新版可從 TOML 檔案讀取服務旗標,降低多次手動啟動時漏參數的機會。

模型服務的行為不只來自權重,也會受啟動參數影響。模型放在哪裡、使用什麼後端,以及如何安排工作,都可能讓同一個請求得到不同的等待或資源佔用。

1.2.9 新增 tensorfold serve --config FILE.toml,讓服務旗標從檔案讀取。TOML 是容易閱讀的設定檔格式,適合把原本散在啟動命令中的選項保存下來,再由版本管理記錄變更。

因為多人的啟動方式容易不同,固定配置對共用本機伺服器尤其有用。若每個人都靠記憶貼上一段命令,漏掉一個選項時,看到結果變慢就容易誤判為模型更新。配置檔能讓比較先有共同起點,而不是事後才回想啟動方式。

保存檔案也不等於可以把任何環境資料都放進程式庫。模型路徑、機器資源與憑證仍有各自配置需求,團隊應按實際環境維護,不能把一台電腦上的可用設定當成所有設備都能照抄。

驗收時可以用同一份設定啟動兩次,確認實際載入的模型與選項一致,再換一項參數比較差異。這樣得到的紀錄,才有機會在下一次升級或回退時重現,而非只保存一張當天的速度截圖。

配置有共同起點後,同時請求的效能才比較有意義。

二十四路吞吐增加,不是單次回答加速三倍

M5 Ultra 的指定 Nemotron 測試以多路共享運算回合改善合計輸出。

吞吐是系統在一段時間內完成的總產出,延遲則是某個使用者要等多久。多個請求共同利用硬體時,總產出可以明顯增加,但每個人的回應時間未必按同一比例縮短。

官方列出的 Metal 測試,使用 M5 Ultra 與沒有 MTP 頭的 Nemotron。MTP 是一次預測多個後續文字單位的相關機制,這組條件排除它,避免把另一種推測生成方法混入比較。

在該組配置下,兩路同時輸出約快兩成,四路約快七成五,八路為約二點三至二點五倍,二十四路為約三點二至三點五倍。這些是作者報告的多路合計改善,不能只抽最後一個數字當成所有工作共同加速。

因為多路工作能共享運算回合,這次改善應從資源利用角度理解。當服務原本不能充分利用硬體,更多工作一起安排可能提高效率;若只偶爾有一個請求,測到的條件就和二十四路不同。

官方說明這組測試保留相同回覆文字單位。文字單位又稱 token,是模型處理文字的切分方式,並不固定等於一個中文字。因此回覆一致的檢查應保存實際序列,而非只比較文章長度。

要把這項結果用在自己的服務,至少同時保存並行數、模型版本與每項請求的完成時間。總產出與單次等待一起看,才能知道多開代理後,是服務更有效率,還是某個工作等得更久。

把並行量與結果一起保留,才能看懂其他後端的改善數字。

CUDA 與 HIP 的改善各有模型與負載條件

長提示、接續輸出與不同顯示運算後端,使用的是不同測試組合。

CUDA、HIP 與 Metal 分別對應不同硬體的運算路徑。官方同一份發布說明把多項改善放在一起,讀者仍要按模型、裝置與任務找出自己真正能使用的那一組。

GLM-5.3-Flash 的 CUDA 測試,部分改善發生在很長的輸入。指定三路張量平行配置下,從約十三萬到二百萬 token 的提示,第一個輸出提前約百分之零點六至十三點七。

張量平行是把模型運算分配到多個裝置共同處理。這些數字既有長度條件,也有裝置分工條件,所以單張顯卡跑短問題,不能直接拿同一區間當作預期改善。

官方也交代較短輸入在另一組配置中,變化可能只在約正負百分之二。保留這項結果很重要,因為它提醒採用者:長提示上的改善,不表示每種輸入都會同方向、同幅度變快。

HIP 的 Qwen3.8-Flash-Next 則是另一組測試,指定 gfx1151,單路輸出約快百分之六,四路約快百分之二點八至四點六。這與前一節的 M5 Ultra 多路結果,硬體和模型都不同。

因此,建立自己的比較表時應先按後端分組,再分輸入處理與輸出。若把不同條件挑出的最好數字放在同一列,表格看起來很強,卻無法用來判斷一台實際電腦該不該更新。

效能條件對上之後,請求有沒有被正確處理仍需另外核對。

清楚拒絕不支援輸入,避免錯誤串到下一次回答

影片輸入、圖片失敗與提示機率的修正,處理的是服務結果與錯誤行為。

服務除了要正常回答,也要在不能處理的輸入上給出清楚結果。新版本讓模型清單回報輸入類型,對不支援影片的模型,送入影片時會回傳 400,而非原先較含糊的伺服器錯誤。

400 在這裡表示請求不符合該模型接受的條件。客戶端因此可以提示使用者換輸入或換模型,而不是不停重送完全相同的內容,期待下一次伺服器突然處理成功。

另一項修正針對 CUDA 的 Nemotron Omni:一次圖片請求失敗後,不應把殘留狀態帶進下一次回答。這處理的是請求之間的結果一致性,也說明只測一次正常呼叫,會漏掉錯誤後的狀態問題。

GLM 在特定張量平行配置下,較長提示要求機率資訊時曾可能停住,本次也列出修正。機率資訊通常供開發者分析模型選字,不是一般聊天畫面必然會使用的功能,採用者應按自己的需求安排案例。

有些行為則會刻意改變。發布說明特別指出,關閉思考時的 reasoning-effort 提示處理有調整,因此不能把效能段落的回覆一致,擴大成整份版本所有請求都完全不變。

官方同時列出尚未有服務模型採用的基礎程式,以及實驗中的 Living Weights v2。這些項目能說明開發方向,不能當成今天裝好後就能在每個模型開啟的穩定功能。

知道哪些預設會變,才適合設計新舊版本的比較。

先驗入口、配置與多路結果,再擴大服務

驗收應固定模型、來源與工作負載,分開比較正確性、首字等待與合計吞吐。

第一輪先固定一個模型和一條入口,重播相同短輸入,核對文字、欄位與串流是否符合舊工具預期。若這一步就有差異,先解決相容性,再開始比較速度。

第二輪使用同一組設定增加並行請求。每項請求使用可辨認的內容,保存回覆與錯誤,避免合計吞吐上升時,卻沒有發現個別工作遺漏或混入別的狀態。

再加入一個失敗後接續的案例,例如不支援的輸入被拒絕後,送入一項正常請求。這能觀察服務是否正確清除前一項工作,也確認客戶端能把明確拒絕呈現給使用者。

量時間時應分開啟動、讀提示、第一個輸出與整段完成。模型載入很久但後續常駐,與每次都重新啟動的桌面使用,有不同的總等待,不能只挑其中一小段比較。

最後才決定要不要增加更多代理。若主要工作需要很短的互動延遲,總吞吐的改善未必是第一順位;若同一台機器本來就要同時服務多項工作,則應把併發效率與結果一致性一起納入。

這套比較是導入建議,本刊沒有重跑發布頁的各種硬體測試。讓一條自己的工作可重現,才有依據判斷相容介面與多路改進能否成為日常使用的好處。

單路能重現、多路不串線之後,再決定是否把更多代理交給同一台機器。

TensorFold 1.2.9 常見問題

相容介面、後端支援與測速範圍,需要分別看官方版本說明。

有 Ollama 相容路徑,就代表每個工具都能直接換嗎?

還要核對工具實際使用的路徑、模型名稱、選項與回應欄位。相容入口降低接入門檻,不能替未測過的客戶端保證所有功能一致。

三點五倍是不是我問一次就快同樣倍數?

這是 M5 Ultra 指定 Nemotron 配置在二十四路下的合計輸出改善。單一工作應另看自己的首字與完成時間,不能直接使用多路吞吐倍數。

同版不同顯卡,可以比較官方數字嗎?

先按模型、後端、輸入長度與並行量對齊。Metal、CUDA 和 HIP 的範例並非同一組實驗,不能把各自最好成績拼成一台設備的預期。

哪些更新最值得先測?

先測自己會用的相容入口與保存配置,再增加並行與失敗恢復案例。影片拒絕、圖片失敗接續及機率輸出,則按現有工作選擇。

先用一條可核對的舊流程比較,再把新入口納入日常工作。

延伸閱讀

原始資料來源