llama.cpp 支援決策模型：在自己的電腦分類、分流，還能回傳每個選項的機率
llama.cpp 新增 /v1/systemone 決策模型介面，支援本機分類與評分。本文解釋它和聊天模型的差別、三種問題格式，以及機率與授權的使用限制。
llama.cpp 是讓開放模型在自己的電腦或伺服器運作的工具。2026 年 10 月 2 日，維護團隊宣布新增決策模型支援：使用者提供資料與選項，模型直接替選項評分，程式可以收到結構固定的結果。
對客服分流、文件分類與工作流程判斷來說，這是一個實用的變化。很多工作只需要知道「應該交給哪一組」，不需要模型先寫一大段說明。新增的 /v1/systemone 介面，把這類判斷帶進常見的本機模型工具。
決策模型如何回答問題
決策模型是一種替既定選項計算分數的 AI。它接收目前狀態，例如客戶來信，然後判斷這封信較符合帳務、配送或技術問題。聊天模型則通常逐字產生回覆，程式再從回覆中取出答案。
依 ggml-org 官方說明，新介面會在一次模型計算中回傳選項機率。這讓結果更容易交給程式處理，也減少等待回答文字生成的步驟。不過，省略文字生成不會自動讓分類正確，選項設計與輸入資料仍會影響結果。
例如，「我上週被扣了兩次錢」應該送帳務組。但如果選項只有幾個簡短代號，模型可能誤解含義。官方文件特別建議寫出每個選項的描述，讓模型知道帳務包含付款、退款與發票等範圍。
新介面支援三種判斷
介面指的是程式向模型送出請求、再取得結果的固定格式。/v1/systemone 這個路徑支援三種問題：選擇、等級與是否成立。
| 問題類型 | 適合的工作 | 結果如何閱讀 |
|---|---|---|
| choice，從選項中分類 | 把信件交給帳務、配送或技術組 | 讀取最符合的選項與各選項機率 |
| score，排列有順序的等級 | 把急迫程度分為可等待、今天、立即處理 | 取得等級的期望值，可能落在兩級之間 |
| noul，是非判斷 | 判斷文件是否包含某種資訊 | 讀取「是」的機率 |
等級結果可能有小數，是因為模型把多個等級的機率一起計算。它不代表一定存在「第 2.3 級」這種實際業務規則。程式如何把這個值轉成行動，仍要另外定義。
這種明確的問題格式，特別適合把 AI 接進既有流程。如果只是想討論一個沒有固定答案的問題，聊天模型仍比較方便。兩者可以各自處理擅長的工作。
本機執行與模型選擇
官方提供的起步範例是啟動 Kev-4B 模型，再把請求送到本機服務：
llama serve -hf ggml-org/Kev-4B-GGUF
模型名稱後面的 GGUF 是 llama.cpp 常用的模型檔案格式。上述指令只示範官方的啟動方式，實際可用性還取決於安裝版本、模型下載與電腦資源。本文沒有進行本機效能實測。
截至 2026 年 10 月 3 日查詢，官方列出的模型包含 Julia-1、Laya、Kev-4B、lev 與 OpenJev，模型大小、語言與圖片能力各有差異。當時表格只有 OpenJev 標示支援圖片，因此不能把介面可接收截圖，理解成所有模型都能看圖。
若要了解決策層如何與一般聊天模型一起工作，可先看站內入門文章。
延伸閱讀：AI Agent 為什麼需要決策層？用 Jev、Laya 看懂模型路由、工具選擇與風險控管
速度與機率都需要放回使用條件
官方表格的延遲數字，是在一張 NVIDIA RTX PRO 6000 上測量一題回答的中位時間。中位時間表示一半測量值較快、一半較慢。它無法直接換算成一般筆電的處理速度，也不涵蓋模型下載與首次載入的時間。
模型回傳的機率也要用自己的資料測試。官方舉例，同一封內容模糊的信，在 Julia-1 與 Kev-4B 上可能得到差異很大的信心值。共用一個固定門檻，未必能得到相同的可靠度。
我的建議是先用已知正確分類的歷史資料比較模型，再決定哪些結果可自動分流、哪些要交給人。若錯誤分流會產生較高成本，應把「不確定」的處理方式一起納入流程，而非要求模型每次都強迫選出一個行動。
模型授權也要逐個確認。官方表格列出的 OpenJev 是限制商業使用的 CC BY-NC 4.0 授權，與其他列出的 Apache 2.0 不同。本機可以跑模型，和可以把模型用於商業服務，是兩個需要分別確認的條件。
常見問題
回傳零個輸出文字單位，代表沒有計算成本嗎？
仍然需要讀取輸入並執行模型計算。零輸出只是沒有逐字生成回答，不代表記憶體、硬體或輸入處理沒有成本。
可以用它讀取圖片文件嗎？
可以選擇支援圖片的模型。官方當時列出 OpenJev 有圖片能力，其餘模型不能只憑介面格式就視為支援。
本機運作就能保證資料完全不外傳嗎？
推論可以在自己的機器執行，但整個應用是否傳送資料，還取決於它的工具、網路設定與其他整合。應按照實際部署方式確認資料流向。
結語：固定答案的工作，有了更直接的工具
llama.cpp 的新功能讓決策模型更容易接入本機流程。我傾向把它視為分類與分流的有用選項，尤其是輸出格式明確、可以用歷史資料驗證的工作。
起步時不必追求最大模型。先確認語言、圖片能力與授權符合需求，再比較實際分類品質與延遲。當資料、選項與失敗處理都清楚，直接回傳選項機率才會轉化成可靠的工作流程。
