Karpo Decision 31B 開放權重:不生成長文的決策模型,適合哪些代理任務?
Karpo Decision 31B 開放權重,直接回傳選項機率。解析 73.9 分與並列第一的口徑、GPU 記憶體門檻、九十四毫秒條件,以及代理流程適合如何驗證。
AI 代理每次選按鈕、分類案件或判斷是否轉交人工,都不一定需要先生成一大段文字。Karpo Decision 31B 把工作收斂成有選項的決策,直接回傳各個選項的機率。
原作者在 2026 年 11 月 13 日公開這個以 Gemma 4 31B 為基礎的模型。它接受文字與圖片,也能針對同一份狀態提出多個問題,讓代理把部分判斷從長篇推理移到專用介面。
公開模型卡列出的 Decision Index Full 分數為 73.9,與另一個模型依榜單規則並列第一。這是指定私有測試的綜合分數,不能解讀成所有真實任務都有相同的正確率。
它提供開放權重和推論程式,但硬體門檻仍高。模型卡說明,權重本身約占 62.5GB,長輸入還需要額外記憶體,因此不能只看到開放下載就預設一般筆電能執行。
這條路適合選項明確、需要大量重複判斷的代理流程。需要寫作、提出新方案或面對不完整選項的工作,仍要安排其他生成工具與人工處理。
要判斷它能否省下成本,先要了解輸入的狀態和問題怎麼組合,以及回傳的機率能替決策提供多少資訊。
Karpo Decision 31B 怎麼回答問題?
它把自然語言描述的問題轉成選項分數,再對每個選項給出機率。
依原作者模型卡,輸入可以包含網頁、對話、文件或圖片,以及要判斷的問題。系統把每題的候選選項轉成機率分布,因而可以直接交給程式處理。
這裡的決策模型,可理解為替已定義的選項打分數。它支援多選項的 choice、真假問題的 noul,以及尺度等級的 score,單題最多可有二百五十五個選項,並不負責自行寫出任意長度的新答案。
多個問題可以共用同一份狀態,模型在一次運算裡處理。原作者設計不同問題的分支只看共享內容與自己那一支,避免互相讀取其他題目的選項,讓資料能共用但題目仍保留邊界。
例如客服流程可以提供退貨規則與案件資料,分別問是否符合資格、是否缺少收據、是否應轉交人工。這是說明介面用法的假設情境,不代表本文已實際測過退貨案件或證明它能自動核准退款。
選項設計會限制模型能做什麼。如果流程只列核准與拒絕,遇到資料不足的案件也可能被迫選邊,因此實作時需要把資訊不足、需補件或轉人工等出口納入系統設計。
同樣地,模型輸出機率不會讓候選動作自動取得執行權。回覆一個動作名稱,和真的寄信、退款或修改帳號,是不同層次,應由外部流程決定何種狀態可以往下走。
這種輸出容易接進程式,卻也讓選項設計直接影響可做的判斷。

73.9 分和第一名應該怎麼看?
Full 分數來自評測維護者的私有測試,與原作者自行跑的公開分數有不同口徑。
模型卡記錄 2026 年 11 月 12 日版 Decision Index 0.4.1 的 Full 分數為 73.9。這套榜單由維護者用私有測試評分,其中六成是與公開測試相同技能,四成來自新領域,因而可觀察部分未公開任務的表現。
榜單也有並列規則:同組第一名差距在 0.9 分內可共享名次。因此 Karpo 的 73.9 與 GLiDE 27B 的 73.4 同列第一組,描述成並列第一,比宣稱唯一領先更能保留實際規則。
原作者自行執行公開套件的綜合分數約為 75.0,與 Full 分數有不同測試範圍。兩者不能相減後當成真實部署準確率下降多少,也不能把其中一個數字換到另一個榜單標題下使用。
同樣需要分清楚的,是綜合指標與特定任務。瀏覽器點擊選擇、工具呼叫判斷與商品相關性,不一定對企業有相同價值。如果某個流程最怕誤拒,總分最高也可能不是最合適的部署對象。
截至查詢時,官方介紹頁與模型卡保留不同日期的榜單說明,本文因此以明確列出日期的模型卡作為成績口徑。榜單會更新,之後若要引用排名,應重新保存當日版本,不能把這次截圖當成永久名次。
此外,本文核對了原作者與評測來源,沒有自行下載模型跑完整測試。這種查核能確認公告寫了什麼,卻不能取代企業用自身案件測量錯誤型態與人工處理比例。
公開測試也會有未支援的案例。模型卡列出執行套件時,有少數問題連同狀態超過上下文範圍,這提醒使用者在正式流程裡保留輸入長度檢查,避免把無法處理的請求混進正常答案。
若企業任務有很多長文件,較有意義的測試是確認哪些條件被完整送入,而非只看服務是否回傳一個選項。當關鍵規則在截斷時消失,再高的信心也不會補回模型沒讀到的資訊。
這些邊界也有助於設計人工轉交:系統知道輸入不完整時,就先停止決策,會比等錯誤被下游發現更容易追查。
成績能協助挑選測試對象,但延遲與硬體條件仍要另外檢查。
94 毫秒與開放權重代表什麼成本?
原作者提供的是單張 GPU、一次處理一個請求的延遲條件,實際部署仍受設備與輸入影響。
模型卡列出的中位延遲為九十四毫秒,條件是單張 GPU、一次一個請求。發布文章使用約九十五毫秒的描述,因此應把它視為指定環境的測量,而非任何機器與任何併發量都能達到的保證。
中位數表示一半觀察值在它附近較快的一側,但不會告訴你最慢請求要等多久。對需要即時回應的代理,還需要看高併發與長輸入時的尾端延遲,這些不能從一個中位數自行補出來。
硬體方面,官方指出權重約占 62.5GB,較長請求還會需要更多記憶體。權重是模型學到的參數檔,能下載代表可自行部署,但沒有消除載入與推論所需的設備成本。
上下文長度為每個序列 32,768 個詞元。詞元是模型處理文字的單位,和中文字數沒有固定一比一關係,因此不能把這個數值直接當成可讀三萬多個中文字的保證。
超長請求可按問題拆開,每部分仍攜帶完整狀態。這讓多題工作有處理方式,但重複狀態也可能增加運算量,實際效益要看問題數、狀態大小與記憶體壓力,而非只計算模型呼叫次數。
原作者提供 Python 3.12 以上的推論程式與 HTTP 服務介面,並提醒用一般聊天模型方式載入,不能重現相同答案。因此導入時需要確認服務格式與程式版本,不能只替換模型名稱就預期結果一致。
運算成本有了範圍之後,還要設計模型沒有把握時的去向。
怎麼把機率接進代理流程?
用人工轉交與明確失敗出口承接低信心輸出,比直接把最高分選項拿去執行更可控。
假設一個案件回傳三個選項的機率,最高分表示模型在這組候選中的偏好,卻不代表同樣比例的案件一定正確。校準是在一批結果上比較信心與實際成敗是否相符,需要用足夠樣本觀察。
官方列出校準誤差 4.8 個百分點,這是評測統計量,不等於每一筆都有 95.2% 正確率。把這類數字保留原意,才不會在高風險流程裡將信心分數誤當保證。
實作上可以先讓模型只提出分流建議,由既有規則與人員決定是否執行。當累積足夠有答案的案件,再觀察提高門檻後留下多少案件、漏掉哪些應處理案件,以及人工負擔如何變化。
門檻越高,可能越少錯選,也可能把更多原本可處理的案件送回人工。這個取捨需要連同工作量看,不能只報告被保留的案件準確率,卻省略大部分已被排除的內容。
若選項涉及實際付款或資料變更,還應確認外部執行系統的權限和紀錄。模型可以輔助判斷,但只要動作具有後果,就需要能回查是哪些資料、哪個版本與哪個規則促成決定。
授權也需要分層。Karpo 模型卡標列 Apache 2.0,但基礎模型與相依程式可能另有條款,部署者應確認自己取得的檔案與使用方式,而不把開放權重簡化成任何場合都無條件可用。
流程建立後,評估重點就是整個系統的錯誤與成本。
哪些工作適合先試,哪些要等?
有固定選項且結果可核對的任務,最容易用小規模測試確認是否受益。
固定分類、案件分流與工具選擇,通常比較容易建立明確答案。團隊可以先挑一個有歷史人工結果的流程,把狀態、選項與正確處理方式整理清楚,再比較現有方法和決策模型。
測試集應包含資料缺漏、互相矛盾與超出既定選項的案件。這些情況會檢查模型是否被介面逼著給出不恰當答案,也能讓團隊決定哪些內容必須提早轉人工,而非直接進入自動執行。
若任務是寫一篇新文章、提出未列出的解法或與使用者協商條件,專用選項模型就沒有完整涵蓋工作。它可以協助某個中間判斷,但仍需要其他工具負責內容生成與互動。
成本比較也應把硬體使用率放進來。每次判斷很快,不等於自行維持大型 GPU 就划算。低用量團隊可能需要考慮機器閒置,而高用量團隊則更在意併發、穩定性與監控成本。
正式測試時,可以固定資料、選項、模型版本與服務程式,記錄成功、轉人工、延遲與資源用量。如果只記平均速度,將很難在之後更換權重或調整提示時確認是哪個環節改變了結果。
這讓開放模型的價值回到可控制與可檢查:有能力維護環境的團隊,能把決策方式接進自己的系統。但是否值得承擔部署,仍應由本地測試的品質與總成本支持,不能只跟著榜單名次走。
當本地資料顯示錯誤減少且延遲可接受,才值得擴大部署。
Karpo Decision 31B 常見問題
Karpo Decision 31B 可以像聊天機器人一樣寫文章嗎?
它的專用介面針對有型別的選項決策,並不以生成長篇回答為主要用途。需要寫作的流程仍應搭配生成工具。
73.9 分是正確率嗎?
這是特定版本 Decision Index 的 Full 綜合分數。它有自己的測試範圍與彙整方法,不能當作任何工作皆有 73.9% 正確率。
開放權重可以在普通筆電上直接跑嗎?
官方列權重約 62.5GB,且推論還需額外記憶體。是否能執行取決於硬體、程式與設定,不能只看開放下載。
先用固定選項的低影響流程,驗證決策模型的價值
若已經有大量需要分流的案件,可以先選一個結果能核對、動作影響較低的環節,讓模型提供建議並保存機率。先比較漏判與人工工作量,再決定是否提高自動化程度。
若任務仍常改變目標或缺少可列出的選項,則適合先整理流程。當問題、答案與失敗出口都清楚,決策模型的速度才有機會轉成可維護的工作效率。
延伸閱讀:Liquid AI d1.2 發表:讀發票、框物件與聽聲音,決策模型怎麼回報不確定?
延伸閱讀:Hugging Face Decision Models 整合:AI 分類不用先寫一段話,機率又能信多少?