CPU-ARC 推理快取研究：單次重用費用剩約 1/16–1/291，建置成本何時回本？
CPU-ARC 將模型推理轉成可在 CPU 重用的程序，解析單次呼叫費用、建置成本、回本次數與測試範圍，判斷哪些重複工作值得研究。
CPU-ARC 想解決 AI 反覆重算的浪費。當兩個問題只是數字不同，系統可以保留已找到的解法，再用一般程式套入新的數字。
這項 NVIDIA 研究把模型推理紀錄轉成可在 CPU 執行的小程式，讓後續相近問題不必每次重新呼叫大型模型完成整段推理。
論文報告後續單次使用的計價成本約為原本的十六點三分之一到二百九十一點一分之一，但建立快取也要先花錢，約為原始解題費用的十二到八十四倍。
因此，一次性問題未必適合採用。只有相同解法會被反覆用到，而且能驗證輸入仍在適用範圍內，建立成本才可能回收。
這仍是數學與科學題目的探索性評估，並非企業實際部署後的省錢報告。對開發者最有價值的，是把「找到解法」與「反覆執行解法」分開計算。
要知道這個設計能否用在自己的代理流程，得先看它究竟快取了什麼。
CPU-ARC 快取的是解題程序，不只是舊答案
研究把成功解題紀錄轉成可重複執行的程式，所以新問題改了數字，仍有機會沿用同一套邏輯。它保留的不只是某題答案，而是輸入如何經過計算，得到輸出的程序。
例如計算一段固定利率下的金額，舊答案只能回答原本的本金與期間。如果快取保存的是公式與適用條件，新問題換了本金，程式便能重新計算，不必再讓大型模型從頭解釋同一個公式。
這是理解方法的示意，不是論文已替所有金融工作提供可用工具。真正困難的是判斷兩個問題是否共享解法，以及新輸入有沒有越過原先成立的條件。
與提示快取、語意答案快取有何不同？
提示快取通常保留模型已處理過的共同輸入，降低重複讀取的成本。它不會自動把完整推理變成可執行公式，模型仍可能需要產生後續答案。
另一種做法，是遇到相似問題直接拿出舊答案，但相似不代表答案相同。若問題只是措辭相近，數值卻變了，直接回傳舊答案就可能出錯。
CPU-ARC 的設計則把程序和參數分開，先辨識可共用的邏輯，再把新數值送進程式。好處是有機會處理答案不同、解法相同的問題，代價則是程序建立與驗證都比較複雜。
研究稱這些單元為語意函式，也就是除了程式，還保存可讓系統理解用途的輸入、輸出與程序描述。搜尋時因此可以先找相關函式，再檢查新問題能否由它處理。
提示快取的計價也有不同的寫入與讀取條件，兩種方法不應只憑名稱相近就比較費用。
延伸閱讀：OpenAI API 12 小時提示快取怎麼用？寫入價 2.5 倍，哪些情況才划算
但要沿用一套邏輯，系統必須先確認哪些輸入能變、哪些條件不能變。
一段推理如何變成可呼叫的小程式？
建立器先辨識問題、拆出步驟與可變輸入，再反覆產生和測試程式，沒有一次轉換就必然正確的保證。大型模型在這個階段負責把原本的推理，整理成可重複執行的形式。
論文方法章 把建立過程分成多個階段，包含隔離輸入與輸出、拆解工作、辨識參數範圍、由底層規畫函式，以及產生程式並讓評判器檢查。
可變參數必須有適用範圍
以解方程式為例，係數可以改變，但特定解法可能假設某個係數不能是零。如果系統只抽出數字，卻沒有保留這個限制，程式即使能執行，也可能不再回答原本的數學問題。
因此，研究不只要檢查程式是否跑得動，也會把原始問題送回建好的函式，核對結果。參數擷取與重建也必須符合原題，避免把文字中不同角色的數字放錯位置。
這些檢查能增加發現錯誤的機會，仍不代表已經窮盡所有新輸入。對同一個函式，哪些內容能替換、哪些描述會改變題意，仍然是適用判斷的一部分。
為什麼不能把文字相似直接當成條件相同？
兩個問題可能都提到相同數字，卻要求不同結果。例如一題問總和，另一題問平均，單靠關鍵字接近，無法保證應使用同一段程式。因此，搜尋只是找到候選，還需要確認輸入與輸出是否符合用途。
若規則本身已經變動，也不能只換參數繼續執行。像一段流程原本依照固定比例計算，後來加入級距，便可能需要重新建立程序，否則程式每次都能跑完，卻持續產生錯誤結果。
這類錯誤不一定表現為程式當機，所以驗收不能只看執行是否成功。應把條件是否成立、參數是否正確及答案是否可接受分開保存，才能知道應修正擷取器，還是停用整個快取。
新問題到來後，怎麼決定是否沿用？
系統會先搜尋相關語意函式，達到條件後再擷取參數、執行計算並產生說明。這個流程把大部分重複推理交給程式，但仍保留模型處理語言與敘述的工作。
如果找不到合適函式，或執行出現錯誤，就回到原本的大型模型。因此，實際系統不是只能在快取與錯答之間二選一，而是可以保留沒有命中時的備援路徑。
這也解釋為什麼命中率很重要。快取只在部分問題上可用時，其他請求仍要支付原模型費用，不能把每次呼叫都按照成功重用時的低價計算。
研究的 CPU 執行流程還可能用到小模型，例如辨識輸入或整理輸出。部分內部語言模型呼叫也可能留在函式中，因此名稱中的 CPU 不等於從此完全不需要模型。
這些建置和檢查都需要模型參與，所以省錢要連第一次準備一起計算。
單次重用費用變低，為何還要等快取回本？
論文的節省倍數比較後續一次呼叫，沒有把一次性建立成本全部算進那次呼叫。作者列出的重用成本，約為原始解題費用的十六點三分之一到二百九十一點一分之一，並非整個專案從第一天就省下同樣比例。
建置成本則約為原始解題的十二點一到八十三點七倍。因此，若只會遇到一次相近問題，先花一大筆錢建立函式，可能比直接讓原模型解題還貴。
回本要比較省下的差額
可以把一次建置費用記為 B、原模型每次成本為 S、快取每次成本為 C。當重複使用累積省下的費用超過 B，才算回收建置成本，估算次數就是 B 除以 S 與 C 的差額。
這個算式仍假設問題真的命中快取，而且品質可以接受。若常常要備援、修正或重新建立，這些額外花費也應納入，不能只保留最便宜的成功路徑。
論文依自己的條件估算，部分 AIME 題目的鄰近重複使用約十三次可回本，GSM8K 則約九十次。兩者不同，是因為原始解題與建置的相對成本不同，不能直接當成所有企業流程的固定門檻。
這些費用用的是哪一套模型與價格？
作者使用 Claude Opus 4.5 作為來源與建置模型，並研究以小模型承接後續步驟。費用計算採二〇二六年三月的價格假設，不是對十一月所有新模型現行價格的比較。
因此，現在評估類似架構時，應把原模型、小模型、快取寫入讀取、嵌入搜尋和建置用量一起換成自己的條件。單價改變，回本次數也會跟著變。
成本還不只有 API 帳單。實際服務若需保存函式、管理版本與維修錯誤，也會有工程成本，這是由研究方法推到部署時需要另估的部分，並非論文已量測的公司維運費。
成本算得完整之後，還得知道程式遇到新表達或新參數時是否仍然答對。
測試結果如何限制這項研究的結論？
作者用數學與科學題目測試，改寫和換參數的穩健性測試只納入原先已答對的快取。這代表它觀察的是已成功建立的程序，面對附近變化時能否保持品質，而非任意新題的整體成功率。
論文涵蓋 MATH500、AIME、GPQA Diamond、GSM8K、MMLU-Pro 與 SciBench 等題目，AIME 又分不同年份，因此表中測試列數與資料集家族數量並不相同。
七項不低於來源模型，仍不是全面提升
作者的八列比較中，七列的快取結果不低於來源模型，但 GSM8K 為百分之九十八，低於來源的百分之九十八點五。保留這個例外，才能看出它並非每一種題目都提高品質。
例如 AIME 2025 的表中，快取為百分之九十三點三，來源為百分之八十三點三。這項差異描述特定測試流程，不代表只要把任何模型推理轉成 Python，答案就會自動更準。
建立過程會反覆測試和挑選程序，這些額外工作也是品質結果的背景。因此比較時，應同時記錄建立成功比例與後續品質，避免只拿成功留下的函式代表所有原始題目。
穩健性測試沒有涵蓋哪些情況？
作者讓模型改寫敘述、改變參數，並使用評判流程檢查題意及答案。改變參數後的參考答案也有模型生成環節，不能說每個新案例都是人類獨立建立的標準答案。
測試中最低的組合條件仍有約九成表現，但這個結果受到樣本選擇和變化方式限制。若實際工作加入新的商業規則、例外條款或外部資料變動，就可能超出原本快取的有效範圍。
因此，這仍是探索性研究。本文沒有驗證它已經用於真實企業流量，也沒有把論文描述當成已提供完整可用產品或部署套件的承諾。
對想動手的人，較合理的是先做小範圍原型，保留未命中與失敗時的原模型流程，再驗證新條件下能否維持品質。
理解這些限制後，再看哪些條件不能只從名稱或最高倍數判斷。
CPU-ARC 常見問題
它只是把答案存起來嗎？
不是。研究保存可重複執行的程序與參數描述，讓數字改變時有機會重新計算，這也是它與直接回傳舊答案的重要差別。
CPU 執行代表完全不用 AI 模型嗎？
不代表。流程仍可能使用小模型做參數擷取、說明或其他步驟，快取失敗時也會回到來源模型，不能把它改寫成零模型成本。
每次任務的費用都會剩下二百九十一分之一嗎？
不能。那是特定資料集和計價條件下的重用比較，還要另算建置、未命中和失敗備援成本，實際比例需重新測量。
開放式寫作也適合直接套用嗎？
本研究主要展示數學與科學解題。寫作需求的目標與品質較難化成固定程序，不能直接用這些結果保證同樣有效。
先找反覆套用的規則，再估快取是否值得建立
相同指令反覆處理不同數值或資料的工作較值得研究，開放式創意問題則不符合本論文展示的主要條件。先找到可驗證、會重複發生的計算，才有理由付出建置費用。
可以先統計一週內相同解法出現多少次，再挑一種規則明確的工作，記錄建立、驗證、重用與備援的完整用量。品質沒有達到原本門檻時，即使單次帳單變低，也不能算成功替換。
如果你的工作還涉及模型分流，可搭配決策層觀念，先確認哪些輸入應走哪條路，再討論快取能接下多少比例。
延伸閱讀：AI Agent 為什麼需要決策層？用 Jev、Laya 看懂模型路由、工具選擇與風險控管
先列出一種反覆出現的解法與其適用範圍，再用完整成本和已知答案測試是否值得建立。
