Vals 推論供應商評測：同一個開放模型，為什麼費用能差到 2.3 倍？
Vals 推論供應商評測用 165 個代理任務，比較相同開放模型在原廠與第三方服務的品質、速度和成本。本文拆解 2.3 倍費用差、快取命中與誤差範圍，說明挑選服務時不能只看每秒 Token。
Vals 推論供應商評測要回答的，是挑 AI 服務時很容易被忽略的問題。同一個開放模型，放在原廠和不同代管平臺，實際完成工作的表現是否相同？
模型權重是學到的數值，開放下載後，其他公司也能架設服務。但服務商仍會選擇硬體、加速方法和處理工具呼叫的方式，因此相同名稱不代表所有細節都一致。
Vals AI 在 2026 年 10 月 23 日的 X 公告中，介紹新的推論服務指數。推論就是讓已訓練好的模型處理新問題，這份指數比較的是部署服務，並非重新訓練模型。
官方結果顯示，同一模型的每任務費用最多相差約 2.3 倍。但整體準確率差距都落在測試誤差範圍內，所以不能只挑圖上最高的一個點就宣布品質勝負。
對已使用開放模型的開發團隊，這份資料值得用來縮小服務候選名單。若只想靠一張榜單決定所有工作走哪個入口，仍會漏掉領域、等待時間與完整費用的差異。
要知道它能幫忙選出什麼，必須先看哪些模型在同一組工作裡接受比較。
Vals 推論供應商評測測了哪些模型與工作？
這份指數固定模型，再比較不同供應商。因為模型本身不變，觀察到的成本和時間差異，就更適合拿來討論服務的選擇。
官方方法頁列出 DeepSeek V4.1 Flash、Kimi K3 與 MiniMax M3。這裡的 K3 和 M3 是受測版本，不能自動換成剛推出的 K3.1 Pro 或 M3.1 Flash。
DeepSeek 與 Kimi 都比較原廠、Together AI、Fireworks 和 Baseten。MiniMax 則沒有 Baseten，因為評估當時該公司的對應模型介面尚未提供，所以比較組數不完全相同。
每一組模型與服務商的比較包含一百六十五個任務。以下是官方任務組成，能看出這份評測較偏向哪些實際工作。
| 類別 | 題數 | 測試內容 |
|---|---|---|
| 財務代理 | 66 | 讀公司申報文件並做分析 |
| 網頁開發 | 33 | 根據規格建立應用程式 |
| 法律研究 | 66 | 搜尋並回答美國法律問題 |
表格裡的財務和法律題數較多，但整體分數不是把全部題目直接平均。官方先算各領域的成績，再讓三個領域各占相同權重，因此題數不同不代表影響力直接加倍。
同一模型使用相同的代理與任務定義，抽樣和推理設定也盡量對齊。推理設定會影響模型花多少資源分析，因此若條件不同，就很難公平比較服務。
不過，輸出用量上限依各平臺建議設定。這代表評估有清楚方法，也仍有需要閱讀的條件，不能把它理解成所有底層參數完全一致。
費用最多差 2.3 倍，快取扮演什麼角色？
成本差距會直接影響大量長任務的預算，所以值得先看每完成一個任務花多少。只比較價目表上的單位價格，可能忽略模型重複讀取大量背景的方式。
官方結果中，Kimi K3 在 Baseten 每任務約花 12.65 美元，其他服務約為 5.43 至 5.97 美元。即使模型輸出的內容用量相近，費用仍可能出現超過兩倍的差距。
其中一個可見差異是提示快取。快取就是暫時保留已處理過的相同背景，讓後續請求能重用，對反覆讀取專案或長文件的代理尤其有關係。
這次 Kimi 的 Baseten 輸入快取占比為百分之七十二，Together AI 與 Fireworks 為百分之九十四。單看程式類別，對應差距則為百分之七十與九十八。
但這是測試裡同時觀察到的關聯，不足以把所有費用差距都歸因於單一快取設定。單價、內容用量和各平臺的計費方式，也會共同影響結果。
MiniMax M3 則呈現另一種選擇空間。原廠每任務約 2.18 美元，Together AI 為 1.01 美元，Fireworks 為 1.07 美元，顯示原廠入口不必然最便宜。
如果團隊的工作多是短而獨立的訊息，就不一定能重現長任務中的快取效果。因此比較時應保留自己真實的請求長度與對話輪數，避免用不相似的工作量推算節省。
每任務成本的計算，也有需要看清楚的範圍
官方以有完整費用紀錄的任務，計算成功模型請求的平均成本。三個領域再各取平均，組成整體費用，因此它不是所有部署支出的總帳單。
例如系統需要搜尋文件、執行程式或保存結果，這些工具的支出可能另行發生。即使模型供應商較便宜，整套服務的總成本仍要把其他工作加回來。
團隊還可以另外記錄一次合格交付需要多少重試。因為若某個入口經常失敗後重送，只看成功請求本身，就可能低估等待和人工介入造成的影響。
所以這份指數適合提供共同起點，實際預算仍應用自己的任務紀錄驗算。把同一組案件在候選服務各跑一次，比直接將單位價格乘上預估用量更接近營運情境。
每秒產生更多 Token，為什麼使用者未必更早拿到答案？
速度至少包含開始回應、開始給答案和完成一段輸出的不同時刻。Token 是模型處理文字的單位，有些服務很快開始思考，卻不一定很快給出能使用的內容。
這次 Kimi 在 Baseten 的生成速度中位數為每秒二百二十九個單位，Moonshot 原廠為四十五個。這是生成階段的差距，不能直接翻成整個專案完成時間快五倍。
官方把第一個 Token 定義成開始收到任何非空串流內容，可能是推理、答案或工具參數。串流是讓內容一小段一小段傳回，而不是等全部完成才一次顯示。
第一個答案則排除推理內容，只計算答案文字或工具參數。若產品使用者需要的是可操作資訊，這個時間通常比畫面最早出現動靜更有參考價值。
在 Kimi 比較中，原廠第一個 Token 的中位數為 7.2 秒，第一個答案為 12.6 秒。Together AI 對應為 1.8 秒和 5.5 秒，但不同任務的尾端等待仍可能拉長。
因此，方法頁也列出較慢端的分布。中位數描述典型情況，卻無法告訴人最慢的那批請求會等多久，互動產品就應同時注意這些長等待。
還有一個容易混淆的數字是任務耗時。這份指數加總成功模型請求的時間，排除工具執行與先前失敗重試，所以它不是使用者從送出工作到拿到成品的全部時間。
若代理大部分時間都在等待搜尋或測試，提升生成速度的好處就會被其他步驟稀釋。要判斷服務是否更快，應另外測量完整工作流程，而非只選每秒數字最大的一家。
整體準確率在誤差內，為什麼仍要看單一領域？
整體分數相近，並不等於每一種工作都相近。因為一個領域的進步，可能剛好抵銷另一個領域的退步，平均之後就看不出差異。
官方整理中，各服務的整體準確率都在原廠的誤差範圍內。誤差範圍表示有限題目估出來的成績有不確定性，幾個百分點的差距未必能穩定重現。
但 Kimi 的法律類別，在 Baseten 為百分之六十點六，原廠為七十五點八。程式類別則有相反例子，Fireworks 為八十七點七，原廠為八十點一。
因此，只做法律檢索的團隊不應被整體總分說服，直接省略自己的測試。反過來，程式開發服務也不應因某個法律分項較低，就認定同一個入口所有工作都不好。
官方也單獨統計工具呼叫失敗率。工具呼叫是模型請軟體執行搜尋或讀檔等動作的請求，服務如何解析這些資料，可能影響代理能不能繼續完成任務。
這次同模型、同領域下，各服務的失敗率大約落在相差兩個百分點內。領域差異較大，財務與程式約百分之一至六，法律約百分之六至十二。
這些分項讓團隊知道，品質不能只用最後答案的文字觀感判斷。若程式常在工具步驟卡住，就應把失敗原因和重試次數一起保存，才能定位問題出在哪一層。
延伸閱讀：Agent Skills 評測教學：加了技能真的比較好？用三組測試找答案
一百六十五題足夠拿來代表所有工作嗎？
官方挑這組任務，是希望更容易看見服務品質退步，而不是隨機抽出所有企業工作的縮影。因此，這份集合很適合檢查候選入口，但不應直接換成自己的營運成功率預測。
例如，做網頁的團隊可能關心瀏覽器畫面是否符合規格，文件代理則在意能否引用正確段落。這兩種錯誤即使都被算成一次失敗，後續修正需要的時間也可能不同。
若團隊只處理其中一種工作，還應在自己的測試裡增加該類比例。這不是讓模型的分數看起來更高，而是讓比較的代價更接近每天真正發生的需求。
測試也需要保留無法完成的紀錄。如果只留下成功案例的速度，就會把經常中斷的服務美化成快速入口，最後交給使用者時才發現實際可用率不夠。
另外要分清服務失敗與答案失敗。前者可能沒有回應或傳回無法解析的資料，後者則是順利回答卻內容錯誤，兩者應分欄記錄，才能知道要改介面處理還是重新選型。
實際應用若跨多輪工具使用，也可記錄哪一輪開始出錯。因為同樣的總失敗數，可能集中在第一次輸入，也可能出現在讀完大量背景之後，這會影響修正方向。
最後再將這些紀錄連回完成標準。假設交付要求包含正確引用來源，就不能因為答案文字通順而算成功，否則不同服務比較的其實是另一個較簡單的任務。
保留這種任務層級證據，也能在後續更新時重跑同樣問題。當價格或速度改變，團隊就不必依賴前一次使用印象，而能核對是否連品質也一併改變。
如何把榜單變成自己的服務選擇？
最有用的做法，是先固定模型，再換兩個候選入口跑相同任務。因為若模型與平臺一起更換，看到結果差異時，就無法辨認是權重還是服務造成。
第一輪可以選一組平常工作和一組容易出錯的案件。前者反映一般成本，後者能檢查格式、長文件和工具使用等環節，避免只測容易成功的短問答。
每次保存完整版本名稱、推理設定、背景長度與完成標準。對有快取的服務，也要區分第一次請求和後續重用，不然冷啟動成本與重複執行費用會被混在一起。
比較表則同時列出合格比例、模型費、完整耗時和需人工介入的次數。若較便宜的入口只能完成一半案件，剩下的重送與覆核也必須計入。
供應商持續更新加速引擎，所以測一次也不能保證之後完全相同。Vals 宣布每兩週重跑，正是為了追蹤同一名稱背後的服務品質變動，而不是只記錄發布日成績。
這份榜單能提醒團隊把部署當成需要管理的變數。採用後保留少量固定回歸案件，才有機會發現品質變化，並判斷是否需要換回原本的服務。
延伸閱讀：決策模型怎麼做 LLM 評測？Hamel Husain 教你調門檻、比成本、讀分數
Vals 推論供應商評測常見問題 FAQ
Vals 推論供應商評測能選出最好的一家嗎？
它能縮小候選範圍，但不能替所有領域給出單一答案。
受測模型、工作類別與自己的完成標準，都會影響適合的入口。
原廠的服務品質一定比較好嗎？
本輪整體準確率差距都在誤差範圍內，不能據此確認某家穩定領先。
原廠也並非所有受測模型中費用最低或速度最快的入口。
每兩週更新代表兩週就要換服務嗎？
更新是為了觀察變化，不是要求固定搬遷。
自己的回歸案件出現可重現差距，再比較切換的成本與好處，會更有依據。
先用相同任務比較入口，再決定省下哪一種成本
如果團隊已確定要用哪個開放模型，可以從兩家候選服務開始，保留同一份任務、設定與完整耗時。因為只有品質要求相同，費用差距才有可比較的意義。
下一步可從官方方法頁挑出與自己最接近的工作類別，再建立一組小型回歸案件。免費訂閱 AI 郵報，持續追蹤模型部署、價格和評測方法的更新。
