Recursive Flint 開放權重：40B 本機程式模型，Eureka Machine 幫忙做了什麼？

Recursive Flint 是新開放權重的本機程式模型，總參數約四百億，每次產生一個詞元約啟用二十五億個參數。

Recursive 說，小團隊與代理在不到四個月內把它從零訓練完成，研究系統 Eureka Machine 也參與架構、訓練與推論最佳化。

這容易讓人想到 AI 自己造出下一代 AI，但官方描述的仍是人和代理共同做模型。它公開了哪些環節由研究系統改善，沒有宣告完全無人研發。

對開發者更直接的問題，是它能否在自己的機器上處理程式碼。官方雖公布筆電速度，結果仍和權重版本、硬體及上下文有關。

我認為想把程式工作留在本機、也願意管理執行環境的人可以先試。若期待下載後就有大型雲端代理的完整體驗，還要先看工具與限制。

先看模型實際釋出了什麼，再看速度和分數，會比較容易選對起點。

Recursive Flint 釋出了什麼？40B 與 2.5B 分別代表什麼

權重是模型訓練後保存的數值，載入後用來計算輸入並產生回答。Flint 的混合專家架構會挑選部分專家參與每次運算，權重本身仍有完整的總參數規模。

依 官方模型卡，它有 398 億個總參數，約 25 億個參數會在每次產生詞元時啟用。詞元是模型讀寫內容的單位，可能是一個字、字的一部分，或一小段符號。

啟用參數較少，為什麼還要下載大檔案？

可以把混合專家想成有很多專長小組的團隊。處理一段程式時，只請其中幾組參與，能減少當次計算，但其他小組仍屬於模型的一部分。

因此，25 億是每次運算啟用的規模，不能直接拿來推算下載容量或顯示記憶體。官方 BF16 權重下載約 80GB，和一個只有 25 億總參數的小模型是不同需求。

BF16 是權重的數值儲存方式，每個數值用十六位元表示。量化版則用更少位元儲存部分數值，讓模型比較省記憶體，但必須另外確認品質和執行器支援。

這次釋出包含權重、設定、分詞工具、對話格式與 SGLang 服務套件。Flint 能接收和輸出文字，也能進行推理與多輪工具呼叫。它不直接讀照片、錄音或影片。

開放權重提供哪些使用空間？

權重採 Apache 2.0 授權，團隊可以依條件下載、調整，並放進自己的應用。和只能向遠端服務送出請求的 API 相比，本機權重讓團隊能控制模型怎麼執行。

API 是讓程式向服務提出請求的介面。使用遠端模型時，程式透過它送出內容並取得結果，因此也要接受服務端的可用性與資料處理條件。

不過，模型和整套程式代理仍是不同層次。Flint 決定下一步說什麼、選哪個工具。讀取檔案、執行終端指令、顯示修改差異，通常由外面的代理程式負責。

因此「可以在本機執行」還要包含你選擇的工具如何處理資料。Flint 跑在電腦裡，不代表另外連上的搜尋、外掛或記錄服務也都留在電腦裡。

對開發者而言，這批釋出的實際意義是能自行組合模型與工具。要把這份控制權用起來，下一個問題就是硬體和執行方式。

125 tok/s 怎麼讀？先分硬體、精度與上下文

官方筆電速度來自指定硬體和最佳化引擎，並非任意執行方式的保證。

Recursive 發布文章 宣稱，短上下文下，Flint 在 M4 Pro MacBook Pro 超過每秒 125 詞元，在 64GB NVIDIA RTX Spark 超過每秒 150 詞元。本文沒有重做這組測量。

生成速度和等到答案，是兩個時間

每秒詞元衡量模型寫出內容的速度，但使用者從送出問題到看見可用修改，還要等待讀取輸入、推理、呼叫工具及執行測試。

例如請代理修一個錯誤，它可能先讀數個檔案，再跑測試。即使模型生成很快，若測試本身需要幾分鐘，整體完成時間仍會被測試主導。

輸入變長也會改變體驗。Flint 得先處理整段程式碼，接著才開始生成，這個讀取階段稱為預填。速度比較若排除預填，就不能拿來代表整個請求的等待時間。

官方比較圖另有一組口徑，是整個約 128k 詞元工作階段的平均生成速度，並排除預填。這和短上下文的標題數字，應分開閱讀。

為什麼上下文要看所下載的版本？

發布文章說可達 512k 上下文，建議程式任務留在 256k 以內。但本次 BF16 模型卡與設定檔記載的是 262,144 詞元，而且提示與生成內容共用這個容量。

這兩個口徑沒有完全對齊，所以實際使用應依下載權重與執行器的設定。不能因發布文章寫了較大的上限，就替每一種版本開到相同長度。

上下文容量也不代表模型能均勻掌握其中每一行。若一次塞入整個倉庫，問題可能反而變得不明確。先提供相關檔案和可重現錯誤，通常更容易判斷結果。

官方提供的速度值得拿自己的工作測試，但該量的是你在特定版本下完成一次修改的時間。選定版本之後，再看它能處理哪些程式任務，評測分數才有比較基礎。

延伸閱讀：NVIDIA RTX Spark 是什麼？ProArt P16 用 128GB 統一記憶體，把大模型算力搬回本機

Flint 程式評測表現如何？分數要連同代理框架一起看

官方分數顯示它有能力處理終端與修補任務，但每個評測都有自己的工具和通過條件。

Flint 模型卡公布的成績如下，這些是發布方的評估結果。評測名稱相近，測的事情卻不完全相同，所以先看任務，再看數字。

表格裡的百分比是特定測試的通過情況，不能換成「公司所有程式問題有九成能解」。工作語言、倉庫大小和測試品質改變，結果也可能改變。

同一個模型，代理框架為什麼重要？

代理框架負責提供指令、工具與工作流程。相同模型若能讀到不同檔案、執行不同指令，最後可完成的任務就會不同。

官方 Terminal-Bench 使用 Terminus 2，可連網，但透過網路直接取回解答的題目不算成功。SWE-bench 則使用 mini-swe-agent，而且沒有網路存取。

因此，這些分數的差別不能全部解釋成模型在某類工作特別強。題目、工具和網路規則同時改變，不能把跨表格的高低當成單一能力刻度。

多次測量如何避免只挑最好一次？

Flint 模型卡說代理成績報告的是至少五次嘗試後，單次通過率的平均值。它衡量每次執行成功的機會，不是讓代理試五次後挑出最好的答案再計分。

採樣設定也有固定，包含溫度 1.0、top-p 0.95 與 top-k 20。這些參數決定生成的選擇範圍，重現時應保留，否則不是同一組條件。

比較模型的數字還有來源差別：部分由 Recursive 測量，部分引用其他開發者報告。它們能提供位置感，但沒有因此變成統一重測的獨立排行榜。

對準備導入的人，最實際的做法是留下幾個已知答案的內部問題，比較修補是否正確、需要幾次提示、測試是否通過。這些結果才會直接影響你的使用選擇。

評測說明了成品的表現，而 Eureka Machine 的故事，則要回到哪些研發環節被改善。

Eureka Machine 幫忙做了什麼？從架構搜尋到低位元推論

Recursive 公開的是研究系統對多個環節提出並測試改進，再由整個模型製作流程採用。

這套系統會提出研究方向、實作、測試，再用結果決定下一步。和一次請模型給點子不同，它把想法接上可執行實驗，也能平行探索多條路。

架構搜尋先決定算哪些參數

發布文說，團隊從約 350 億總參數、30 億啟用參數的基線起步，讓系統搜尋專家配置與寬度，最後採用約 400 億、25 億啟用參數的組合。

這種選擇的意義，是在保留模型容量的同時，控制每次生成要動用的運算。它也說明研發目標包含本機吞吐量，並非只追求參數越大越好。

但這是作者對搜尋結果的說明。沒有完整重做搜尋，就不能把它延伸成所有模型都應該採相同架構的通則。

量化與核心程式把省下的計算變成速度

量化部分，系統也探索將輸出層壓到四位元。輸出層負責把內部表示轉成下一個詞元，對這種啟用參數較少的模型，它在每次讀取權重中占有相當比重。

壓低位元後，團隊再以十六位元模型作老師，讓較小版本學習它的輸出。官方說，最終 NVFP4 版在所列評測的平均成績，和十六位元版相差不到 0.7 個點。

這是平均表現接近的證據，並不表示每一道題目、每一種工具呼叫都完全相同。實際部署仍要針對所用的量化版本測試。

系統還替 Apple Silicon 與 RTX Spark 最佳化運算核心。運算核心是實際執行矩陣、專家路由和注意力等工作的小程式，寫得更適合硬體，才可能把模型設計的優勢轉成速度。

官方在 M4、M5 平台提到，把整次解碼運算融合成 Metal 核心。這是特定軟硬體組合的成果，也解釋為什麼換個執行器不一定得到相同速度。

整段研發故事支持的結論，是代理參與了跨環節最佳化。它沒有提供一個能保證自動研究持續加速的公式。下一代模型能改善多少，仍要由下一次結果回答。

本機部署怎麼選？量化權重、rec 與代理工具分工

一般開發者應先按自己的硬體挑執行器和權重，再連到熟悉的程式代理介面。

官方快速入門 列出 rec、Ollama、Unsloth、LM Studio 與 llama.cpp 等入口。選項多代表有不同整合方式，不代表任何舊版都能直接載入。

筆電與 GPU 伺服器走不同起點

在受支援的 Mac 上，官方建議先用 rec 配 Pi。rec 是 Recursive 為 Flint 最佳化的執行器，能處理模型下載與工具連接，適合不想自己拼裝多個步驟的人。

若團隊已經使用其他本機執行器，則應依該工具的 Flint 文件選擇檔案。權重格式、量化方式和程式版本需要配套，不能只看檔名中都有 Flint 就互換。

GPU 服務端也有差別。BF16 模型卡的 SGLang 套件以單張 B300 或 H200 為起點，這和一般筆電的量化部署不是相同配置。

vLLM 的首日支援說明 另提供專用 Docker 映像，並指出相關支援仍在合併流程中。對已有服務平台的團隊，應使用包含支援的版本，並保留映像與權重版本。

對話格式也要跟著模型走

載入成功還不夠，官方模型卡要求使用權重附帶的對話模板。模板會告訴模型，哪一段是使用者指令、哪一段是工具回傳，以及什麼時候應繼續推理。

如果外面的代理程式把這些界線弄錯，模型可能把工具結果當成指令，或無法把上一輪的工作接下去。因此，整合時要保留官方要求的推理內容欄位，並確認多輪工具呼叫能往返。

這也是為什麼服務端支援 OpenAI 相容介面，不代表換一個網址就完成全部整合。介面讓訊息送得進去，對話模板和解析方式則決定內容能否被正確使用。

官方對困難問題建議至少留三萬二千七百六十八個輸出詞元，推理也算在這個預算裡。如果預算太小，模型可能還沒完成分析就被截斷，使用者看到的便是不完整答案。

但預算開得更大，同時可能增加等待時間。適合的設定應由任務決定：簡短函式說明和跨檔案修補不必使用同一個上限，而執行紀錄應分清楚模型生成、工具執行和人工檢查各花多久。

第一次任務要能看出對錯

我會挑自己熟悉的小倉庫，先請它解釋一個函式，再為既有錯誤補一個會失敗的測試，最後才讓它修正。

這樣的順序能分清楚，它是理解問題，還是剛好產生看似合理的程式。修補後除了跑原本測試，也要確認新增測試真的抓到原來的錯誤。

工作紀錄可以保留三項：完成一次修改的時間、人工重新提示的次數，以及最終測試和差異內容。當模型生成很快卻需要很多次重來，這份紀錄會把差別呈現出來。

對有工具權限的代理，也應按任務提供存取範圍。模型能產生合格的工具格式，仍可能選錯指令。先在可回復的工作副本試一次，比直接把整個正式環境交給它更容易判斷。

把一次小修補做完並看過差異和測試，才有依據決定是否擴大使用。

延伸閱讀：LFM2.5-24B-A2B 發布：本機 AI 代理更快，筆電部署要看哪些條件？

Recursive Flint 常見問題

Recursive Flint 可以商業使用嗎？

官方權重採 Apache 2.0 授權，使用時仍要遵守授權條件。若透過別人代為執行模型的服務使用，服務費用與資料條款要另外看。

只有 2.5B 啟用參數，代表所有筆電都能跑嗎？

不代表。啟用參數描述當次運算規模，完整權重、量化格式、上下文和執行器都會影響記憶體需求。

Flint 的上下文一定有 512k 嗎？

發布文章提到這個上限，但本次 BF16 設定與模型卡列為 262,144 詞元。實際應依所選權重和執行器設定，提示與輸出也共用容量。

Eureka Machine 是完全自己做出模型嗎？

官方說法是小團隊與代理共同打造，研究系統參與多個環節。這份資料沒有支持完全無人研發的結論。

結語：先用熟悉的小倉庫驗證本機程式能力

Flint 值得關注的，是把開放權重、研究自動化與本機推論一起做成可取得的產品。它提供了能下載的成品，也交代了部分速度與評測條件。

如果你想把程式工作留在自己的機器，先選對版本，再做一次可驗證的小修改。能穩定完成任務，比單看生成速度更能回答它適不適合你的工作。

想追蹤開放程式模型與實際部署條件，可以免費訂閱 AI 郵報。

資料來源

• Recursive Flint 官方發布
• Flint 模型卡與權重
• 官方快速入門
• vLLM 首日支援
• Richard Socher 原始發布貼文