Ripple-65B Preview 開放權重，稠密模型如何用訓練配方縮小成本？
Ripple-65B Preview 釋出65B稠密模型與Apache2.0權重。解析小模型階梯、12T預訓練、80.5代理測分、3200萬美元整體研發成本與本機部署條件。
開放模型不一定要把總參數堆到數千億，才能處理多步驟程式工作。訓練資料、後訓練與硬體配合，也會改變同樣參數能完成多少工作。
Ricursive Intelligence 在 11 月 4 日推出 Ripple-65B Preview，公開一個從零預訓練的六百五十億參數稠密模型，供下載與自架使用。
稠密代表每次生成會使用整個主要網路，和只啟用部分專家的模型不同。因此總參數較少，並不直接等於每個 token 的計算都更少。
官方把總研發成本列為三千二百萬美元，涵蓋小模型實驗、資料與評測、除錯及最終訓練。這項數字不能只當成最後一次訓練帳單。
它在團隊公布的 Terminal-Bench 2.1 結果得到約 80.5 分，但比較混合了他廠公布與自行補測的資料，框架設定會影響名次。
我認為這次最值得研究的是小規模實驗如何決定最終訓練配方。它提供新的本機模型選項，官方測分與成本比較仍需要同條件重現。
要理解這個選擇，先從團隊為什麼採用稠密架構，而非更大規模的專家模型說起。
Ripple-65B 為什麼選擇稠密架構？
團隊優先減少訓練與部署的基礎設施複雜度，再用架構與配方改善能力。因此，這個選擇同時涉及模型表現，以及小團隊能否順利把它訓練完成。
稠密模型的主要網路會一起參與每次計算。專家混合模型則把一部分網路拆成多個專家，每次只選用其中一些，總參數和實際啟用參數便不同。
這讓兩者的規模不能只看名稱。Ripple 有六百五十億總參數，同時也是主要啟用規模。某個總參數更大的專家模型，每次啟用量反而可能較少。
所以，較小總參數有助於討論權重儲存，但不能直接推論每次運算更便宜。實際速度還取決於資料搬運、計算密度與硬體安排。
模型形狀配合訓練與服務環境
官方採用較窄、較深的網路，共八十層。這是在模型大小固定的條件下，改變資訊如何依序被處理，並配合自己的訓練與服務平台。
它增加注意力頭的配置，同時調整局部與全域注意力的比例，補回運算成本。局部注意力主要看附近文字，全域注意力則保留跨較遠位置的連結。
這些取捨不能只分開看。若只增加一種能力，可能讓成本同步上升，團隊因此在其他環節調整，目的是把整體效率維持在可用範圍。
官方也加入注意力閘門與其他穩定訓練的改動。但公開資料沒有把每項最終效果都拆成獨立因果，讀者不宜把成績全部歸給其中一個新名詞。
架構選擇只提供起點，最後哪些修改值得保留，仍要靠逐步放大的實驗。這也是這次技術說明最有參考價值的部分。
Today we release Ripple-65B Preview, our 65B dense LLM we pretrained from scratch.
— Ricursive Intelligence (@RicursiveAI) November 4, 2026
Ripple sets a new state-of-the-art for U.S. open-weight models in agentic coding tasks, surpassing significantly larger models including Muse Spark Open-816B, Beam-501B, Inkling-975B, and Nemotron… pic.twitter.com/0Dwh57Rr0J
小模型階梯實驗如何影響最終訓練？
團隊先在較小模型測試改動，再檢查效果能否隨規模放大，避免把每個想法都直接放進大訓練。較小實驗讓修改方向能更快得到回饋。
官方以 Olmo 3 的模型階梯作為起點，逐步調整批次、學習率、網路形狀與資料。這裡的階梯，是用一系列不同規模模型觀察成長趨勢。
這比只比較兩個最終大模型，多了一個問題可以問。某項改動是在小模型特別有效，還是模型變大後仍能保持收益，會影響是否值得投入最終訓練。
例如一種雙流結構在小規模出現好結果，但放大到四 B 時沒有繼續改善，團隊便沒有把它留下。這個被捨棄的例子，說明小實驗成功不保證能直接放大。
另一些改動則在更大規模才開始顯示幫助。因此，只看一個尺寸的測量，也可能錯過值得保留的配方，階梯需要包含足以看出趨勢的範圍。
十六倍效率指的是哪一種比較？
官方回報，最終配方在四 B 規模的指定程式碼指標上，相對原來的 Olmo 3 階梯可用較少計算達到近似表現，改善幅度最高約十六倍。
這個數字描述的是程式碼指標與模型階梯上的計算效率。它沒有表示所有任務都提高十六倍，也沒有表示使用者生成一段回答會快十六倍。
訓練效率與推論速度處於不同階段。前者關心花多少計算學到一定能力，後者關心已訓練模型每次提供答案的時間，兩者可能受不同瓶頸限制。
資料也在這些實驗中調整，最後加入自製的預訓練語料，並提高程式碼比例。因此，配方進步包含資料與架構共同作用，不能只看其中一個零件。
前期試驗降低盲目投入，後訓練則把已學到的能力轉成能完成實際任務的行為。這兩種工作都列入官方公布的整體研發投入。
延伸閱讀：Recursive Flint 開放權重：40B 本機程式模型，Eureka Machine 幫忙做了什麼？
預訓練與後訓練各自負責什麼？
十二兆 token 的預訓練建立底座，之後再加入長上下文、指令與強化學習。token 是模型切分後的文字單位，這裡描述訓練讀取的資料量。
官方說明，預訓練語料以英文與程式碼為主，從零訓練。公開的 Base Preview 是只經預訓練的版本，尚未加入後面的中期訓練與合成問答。
基礎版本因此比較適合研究底座或繼續訓練，不能直接拿聊天指令版本的表現套上去。兩者對讀者的用途不同，測分也應分開。
預訓練先使用八 K 長度，後續階段再把較長資料放進來，加入指令示範、長上下文與混合領域強化學習。長文能力並非只改一個設定數字。
長上下文是訓練能力，仍要對上服務設定
模型卡列出可支援約一百萬 token 的上下文，訓練配方中的部分階段更使用更長序列。但某個供應商願意提供的實際窗口，仍由服務設定決定。
如果使用者透過代管 API，還需要查看該端點的輸入、輸出與記憶體限制。模型架構能接的長度，不能自動變成每一家服務的可用額度。
後訓練則讓模型在多步驟任務中學習如何行動。團隊說它逐步提高訓練任務難度，而非讓模型持續做已經熟悉、容易拿分的題目。
官方回報，使用約一百四十萬次 rollout 達到指定代理基準成績。rollout 可以理解為一次展開的任務嘗試，內容可能包括多個推理與工具步驟。
但嘗試次數不等於總運算量。一次很長的任務與一次很短的回答成本不同，因此不能只拿不同模型的 rollout 數量換算成相同比例的費用節省。
這個 Preview 版本也被作者描述為較輕量的後訓練，重點放在程式代理。它代表目前釋出狀態，而不是最終能力已經定型的承諾。
80.5 分與三千二百萬美元，怎麼一起解讀？
測分描述指定代理系統的任務表現，成本則是廠商回報的整體研發投入，兩者都需要保留比較口徑。它們能提供研究線索，卻還不是等條件的效率排名。
官方以 Terminal-Bench 2.1 比較美國開放權重模型，Ripple 約為 80.5，Beam 約為 80.1。差距不到半個百分點，不宜只憑這個數字推定明確勝負。
比較表也有選取範圍。作者主打的是美國開放模型，沒有把所有國家的開放權重或全部閉源模型一起納入，所以不能寫成全球第一。
代理框架會改變模型的測分
官方表示，有他廠公開結果時先用其數字，缺少結果時再自行補測。表格把補測值另外標示，這讓讀者能看出資料不是全部來自相同流程。
團隊也嘗試用官方 Terminus 2 框架搭配一百二十八 K 上下文與摘要。多數模型的結果會降低，只有其中一個比較模型例外。
這說明代理基準不只量模型權重。提示、工具安排、上下文整理與運行限制，都會影響模型能不能完成一項任務，排行榜需要連設定閱讀。
Ripple 在其他項目也不是全面領先。例如官方表格裡，另一個模型在科學程式任務與工具使用項目表現較高，採用選擇仍要回到實際工作。
因此，這次結果適合讓團隊挑出值得重做的候選。若自己的工作主要是跨文件研究，而不是終端機操作，就需要另外的樣本來回答是否適合。
研發帳單包含失敗實驗與配方開發
三千二百萬美元涵蓋模型階梯、資料混合、評測、除錯、合成資料、後訓練配方，以及最終的大型訓練。把它寫成最後一次 GPU 租用費，會漏掉官方特別列出的範圍。
官方所稱只有前一個領先開放模型約十分之一成本，是依對方公開算力支出安排與訓練時間估算，並非拿到對方完整、相同會計口徑的帳單。
因此，這項比較支持的是廠商對投入效率的估計，不能當成已審計的成本差距。研發人力、使用折扣與其他資源是否全部一致，也沒有被這個比例證明。
對小團隊較有啟發的是支出怎麼配置。若先用小實驗排除不會放大的改動，就有機會減少昂貴訓練走錯方向，而非單靠買較少顯卡。
延伸閱讀：Beam 1.0 開放權重落地：Apache 2.0、Mirror CLI 與部署版本怎麼選？
開放版本適合哪些本機部署需求？
這次提供基礎與指令版本，以及較低精度權重，讓不同目的的團隊有不同起點。公開版本採 Apache 2.0，仍要選對自己要研究的檔案。
BF16 保留較高精度，儲存與記憶體需求也較大。NVFP4 使用較低精度格式，官方把它作為在 DGX Spark 等設備上運作的選項。
較少位元可以降低權重占用，但不能把某款設備可載入，改寫成任何消費顯卡都能跑。上下文變長時，還需要額外空間保存對話相關資料。
官方另列出兩張 B200、批次八的生成速度約每秒二百五十 token。批次表示同時處理多筆工作，這不是單一使用者在自己電腦上的回應延遲。
這個差別會影響採購與部署。想在本機處理一份文件的人，和要讓伺服器同時回覆多位使用者的人，面對的記憶體與吞吐需求並不相同。
實際評估可以先固定版本、精度與上下文，再選少量自己的任務。把完成情況、等待時間與工具步驟留在一起，比只對照公開總分更能決定是否採用。
Ripple-65B 常見問題 FAQ
Ripple-65B 是專家混合模型嗎？
它是稠密模型，主要網路會一起參與每次生成。因此總參數與啟用規模接近，不能只用其他模型較大的總參數推定對方每次計算更多。
三千二百萬美元只是 GPU 費用嗎？
官方明列為整體研發成本，包含前期模型階梯、資料、評測、除錯與配方開發，再加上最終訓練，並非只有最後一次運算費用。
一百萬上下文在每個 API 都能使用嗎？
模型能力與代管服務設定不同。各供應商仍可能設不同窗口與輸出上限，使用時應以實際端點文件確認。
80.5 分代表超越所有開放模型嗎？
這是作者在指定代理基準上的結果，主打美國開放權重模型比較。表格也混合公開與自行補測資料，沒有證明全球所有任務的全面領先。
結論
Ripple 提供的是一個架構、資料與訓練流程互相配合的新開放模型案例。前期階梯實驗決定哪些改動值得放大，後訓練則把底座推向程式代理工作。
想研究成本的人，可以先看配方改動在哪個規模生效。想採用的人，則先下載合適版本、對照自己的任務與硬體，再判斷官方效率主張是否能在自己的條件下成立。
