LFM2.5-24B-A2B 發布：本機 AI 代理更快，筆電部署要看哪些條件？
LFM2.5-24B-A2B 將本機推理與工具呼叫接在一起，本文說明混合專家、記憶體與等待時間，並用公開文件任務，評估筆電部署是否真的省工。
LFM2.5 是 Liquid AI 的模型家族，新發布的 LFM2.5-24B-A2B 把重點放在筆電與桌上型電腦上的 AI 代理。
代理是會分解任務、呼叫工具並繼續工作的程式。模型只負責其中的理解與決策，還要有人替它接好文件、搜尋或應用程式。
大家關心本機模型，往往是想讓工作資料少離開電腦，也想降低大量呼叫雲端模型的費用。
但能在本機回答，不代表整套代理完全離線。搜尋、信箱與外部工具仍可能連網，硬體也要放得下模型。
這次發布帶來的變化是，小型裝置上的推理與工具操作開始一起改善，而部署條件仍需要逐項確認。
LFM2.5 的 24B 與 A2B，各在說什麼？
官方模型卡列出總共約 240 億參數，每步運算約啟用 24.5 億。A2B 指的是啟用參數的量級，不是整個模型只有這麼大。
這種架構稱為混合專家。可以把它想成有多組擅長不同任務的計算單元，每一步只挑其中幾組來工作。
啟用的計算量較少，有機會降低運算負擔。但完整權重仍需要儲存與載入，不能把 A2B 理解成只要裝下一個小模型。
速度測試要連同條件一起讀
官方報告列出 Apple M5 Max 上的生成速度。這是指定模型格式、輸入長度與推論工具的結果，不能直接套用到任何 Mac。
推論就是用訓練好的模型處理新問題。模型格式會影響記憶體與精度，輸入越長，也可能增加讀取與等待時間。
因此，試用時先測自己常見的工作，比單看每秒幾個文字單位更能判斷體驗。
總量、啟用量與記憶體是三個不同問題
假設一家公司有多位不同專長的同事，每項工作只找部分人參與，會議負擔可以降低。混合專家的想法相近，但其他成員並沒有因此消失。
對模型來說，運算時只啟用部分參數，仍要有辦法存放全部權重。參數是模型學到的數值，權重則是這些數值形成的檔案。
筆電還要留空間給作業系統、文件與正在使用的軟體。如果模型剛好塞滿記憶體，切換瀏覽器或剪輯程式時，可能會影響整體工作。
量化是用較精簡的數值表示模型，減少儲存和記憶體需求的方法。它能幫助本機部署，但也需要檢查精度改變後，任務是否仍能完成。
假設任務只是判斷文件類別，可以直接比較分類結果。若任務是呼叫工具建立資料，則還要確認欄位、格式與參數都正確。
所以選擇模型格式時，應把設備與工作一起考慮。體積小並不自動等於最合用，而是用同樣任務確認它省下多少資源。
回答速度，要拆成讀取與產生兩段
使用者第一次看到文字之前，模型先要讀完提示與資料。接著才開始產生回答，兩個階段的等待不能用同一個速度概括。
假設每天要摘要同一批長文件，輸入處理可能佔掉大部分時間。換成只問一句簡短問題，文字生成速度就會比較容易被感受到。
這也是為什麼不能拿伺服器的高吞吐量，當成筆電上單一使用者的體驗。伺服器能同時處理許多請求，總產量高，個人仍可能等待。
模型還要先推理再回答。推理是讓模型在得到結論之前進行計算與推敲，因此回答很短，也不代表中間只產生同樣少的內容。
試用時可以記下按下送出、開始出現結果與全部結束的時間。三個時間點比只記一個每秒速度，更容易找到等待的原因。
若助手要接連操作多個工具，每次等待也會累積。單次快一點是否讓整個任務變快，要等到工作全部完成才看得出來。
本機推理，如何接成可用的工作助手？
官方模型卡提供不同推論格式與代理接法。模型端產生工具呼叫，外部程式執行，再把結果送回模型。
這個往返如果順暢，使用者才會感覺助手一直在推進工作。若接法錯誤，再快的生成速度也可能只產生無法執行的指令。
可以先選檔案整理這類容易核對的任務。給代理一份公開文件，要求它摘出指定欄位並附來源位置，觀察是否正確完成。
成功後，再加入搜尋或行程等外部工具。每多接一個工具，就多一種資料流向與操作權限，應能說清楚它會讀什麼、改什麼。
工具呼叫成功，不等於使用者的工作完成
模型提出工具呼叫，意思是它選出一項操作並提供參數。真正執行仍由外部程式負責，所以兩者之間需要能互相理解的格式。
假設助手要找一份文件，必須把檔名或查詢條件交給搜尋工具。工具回傳後，模型還要判斷是不是正確文件，不能只收到結果就宣布結束。
若要建立待辦，還要知道日期格式、負責人與存放位置。文字回答可以看起來合理，但工具只接受固定欄位，格式錯了就無法執行。
官方模型卡說明這種呼叫往返，對部署者是很實際的提醒。導入時要測整個循環，不能只確認模型能在聊天畫面回答。
例如假設有十份公開活動公告，可以要求助手整理活動名稱、日期與來源頁。每筆都能對回原文，才算完成這個小型文件任務。
如果公告沒寫時間，應留下空值與原因。憑上下文補出一個時間，可能讓表格看起來更完整，卻使使用者做錯安排。
接著可以故意放入一份過期公告，觀察助手是否辨識版本。這種測試比只提供完美輸入，更能顯示它如何處理日常工作的例外。
用自己的任務比較模型，才能找到取捨
官方評測包含工具使用、知識與程式任務，不同類別的結果各有高低。分數差距顯示專長，並沒有證明所有本機工作都能換成同一個模型。
若團隊最常做固定欄位擷取，就應比較擷取與缺值處理。若常修程式，則要比較程式能否通過專案原有檢查，不能用問答表現代替。
完成率也要說清楚怎麼計算。助手產生一份表格算一次完成，或必須每個欄位對上原文才算完成，會得到不同結果。
可以把人工修正也算進測試。假設兩個模型都完成十次工作，其中一個需要逐筆修，另一個只需抽查，使用價值便不相同。
對於知識密集的工作，官方建議搭配搜尋或檢索。檢索是先找出相關文件，再讓模型根據內容回答，避免只依賴訓練時學到的記憶。
資料找到了，仍要保留日期與來源。模型把舊政策整理得再清楚，也不能讓它自動變成今天的有效規則。
「資料在本機」需要看整條資料路徑
本機模型能減少把提示與文件送到模型供應商的需求。這對離線整理資料或固定重複任務有實際吸引力。
不過，代理若把內容貼進網頁搜尋，資料仍然離開裝置。安裝在電腦上與所有步驟不連網，是兩種不同使用方式。
可以讓本機和雲端各做擅長的事
例如先在本機分類文件、移除不必要個資，再將少量公開資訊交給外部模型研究。這是可以設計的分工方式，並非產品預設保證。
這種安排能減少不必要傳輸，也讓費用更容易估算。但需要確認本機階段沒有遺漏敏感資訊，且雲端服務適合接收剩下的內容。
離線工作可以先挑選容易界定的範圍
假設要分類一批已下載的公開說明書，所有來源都在本機，結果也只存回資料夾。這種任務的資料路徑較簡單，適合做第一輪驗證。
若要求助手查最新售價，就需要外部資訊。使用者應先決定哪些內容可以成為查詢詞，而不是將整份內部文件直接交給搜尋服務。
把模型與工具分開看，才能做務實的安排。需要最新資訊時可以連網，需要整理既有資料時可以留在本機，兩段不必採相同設定。
本機方案也有維護時間。更新推論工具、處理安裝問題與檢查模型相容性，都是雲端服務原本替使用者承擔的工作。
假設每月只有幾次短任務，買新設備未必划算。若每天長時間處理固定工作，而且已有足夠硬體，才更容易看見持續使用的收益。
這些是成本比較的情境，並非官方提供的投資回收承諾。實際結果應從自己的工作量與人工時間推算。
長上下文有空間，仍要保持資料有效
上下文是模型一次能參考的內容。這代模型擴大容量，有助於帶入更多文件與工具結果，但放得多不代表全部都會用對。
若同一份規則的新舊版本混在一起，代理可能依過期資料行動。可以為來源標日期，讓最新規則有明確優先順序。
固定任務也不必每次塞入整個資料庫。只帶需要的文件，能降低等待與錯誤引用的機會。
把長文件拆成可核對的問題
假設一份合約有正文與兩份修訂，直接全部放進提示，並沒有交代哪份內容優先。助手即使能讀完，也可能把相互衝突的條件混在一起。
可以先指定有效版本，再要求引用對應段落。若修訂只改了付款時間，其他欄位仍應沿用正文，這種關係需要在任務裡說明。
文件量增加後，也要替答案設定可核對範圍。先找相關段落再回答，通常比要求一次總結所有文件，更容易確認是否遺漏重要條件。
若同一個錯誤反覆出現，先看資料選取與規則是否模糊。模型容量更大未必能替使用者補好任務定義，長上下文也不例外。
延伸閱讀：llama.cpp 接上 Windows ML：本機 AI 專案怎麼選 CPU、GPU 與 NPU？
延伸閱讀：Skales 教學：本機 AI 助理怎麼開始？模型連線、檔案範圍與授權先看清楚
用什麼標準決定要不要留在本機？
我會比較任務完成率、首次等待、完整時間與人工介入次數。對持續運作的助手，再觀察耗電、溫度和其他工作的流暢度。
若本機能穩定完成低風險的重複任務，省下雲端費用與資料傳輸就有價值。若需要大量最新知識，還應搭配檢索，不能只靠模型記憶。
同一項工作，也要試中斷後如何繼續
假設整理文件的助手跑到一半，使用者關掉視窗，重新開啟時應能知道哪些檔案已處理。否則速度再快，重跑仍會浪費時間。
可在測試中保留已完成清單，並讓結果對應來源檔案。這是工作流程設計，不是模型本身保證的持久記憶，需要由代理程式實作。
如果工具回傳失敗，還要知道原因是找不到資料，還是操作暫時無法完成。兩者需要不同處理，不能一律增加重試次數。
最後把模型回答、工具結果與使用者確認分開記錄。當任務失敗時，團隊才能追查是模型判斷、接法，或資料條件出了問題。
這些紀錄會讓本機比較更公平。雲端與本機都完成同樣工作，再算等待、修正與維護，才知道哪種安排符合日常需要。
LFM2.5 常見問題
LFM2.5 開放權重等於完全沒有授權條件嗎？
不等於。權重可下載，仍應依模型卡連結的授權核對自己的公司規模與用途。
本機代理可以不連網嗎？
模型推理可在本機，但工具是否需要網路取決於任務與設定。應分別確認模型端和工具端。
把一次真實任務跑完，再決定硬體投入
LFM2.5 的新模型值得用來測試本機代理的可行性。先在已有設備完成一項可核對工作，記錄等待與錯誤，再評估是否值得增加記憶體或更換電腦。下一步可以從官方模型卡選擇適合設備的格式，先完成同一組小任務，再把結果與原有雲端工具比較。
想開始部署，可延伸閱讀前述 Skales 本機助手指南，再用自己的文件完成同一組小任務。
