Asana AI 代理成本實驗:快取如何省錢,四倍與七十六倍差在哪裡

Asana AI 代理成本實驗顯示,保持歷史穩定能提高提示快取重用。看懂四倍與七十六倍的比較基準、實驗限制,以及團隊如何用成功任務成本驗收改善。

Share
Asana AI 代理 官方或原始專案示意素材
Asana AI 代理 官方/原始專案提供的示意素材。 圖片來源:Asana。

Asana AI 代理成本實驗最有用的發現,是刪掉舊畫面不一定會省錢。每一步都重寫歷史,可能讓模型失去重用已處理內容的機會。

這和直覺有些不同。請求看起來變短,單次輸入可能減少。但如果原本可以便宜讀取的內容被改掉,下一次就得重新付出處理成本。

X 上出現的四倍與官方文章的七十六倍,來自不同的比較基準。讀懂這個差別,才能把案例轉成自己的改善方案。

對團隊而言,優先工作是記錄每次請求的快取使用與成功率,再決定歷史要保留多久。直接照抄一個縮減比例,容易省錯地方。

Asana AI 代理為什麼會因刪截圖變貴

瀏覽器代理會反覆把指示、工具與瀏覽歷史交給模型。提示快取是讓服務重用先前已處理的相同輸入,減少重複運算與費用的機制。它保存的是處理輸入的工作,模型仍會產生新的回答,同一輸入也可能得到不同答案。

快取通常依賴輸入開頭保持相同。若工具定義與系統指示固定,這段內容容易被重用。歷史訊息每一步被修改,後面的內容就可能失去重用機會。

Asana 官方說明,原本代理會逐步移除上一張截圖,並為了歷史預算裁切舊文字。這些修改讓請求的早期部分不斷變動。

Asana 官方實驗先把快取範圍延伸到歷史,在最新工具結果處加入快取標記。標記指出服務可以保存與重用的輸入位置,接著才調整歷史整理方式。

批次保留的 20:1 設定,是累積至最多二十張截圖後,一次縮回一張。兩次整理之間,約十九次連續請求能沿用歷史,減少每一步刪圖造成的修改。

Asana 也把文字歷史預算從十二萬增至四十八萬字元,減少過早裁切。這裡計算的是文字字元,和服務帳單使用的 token 不同。token 是模型切分與處理文字等輸入的單位。

這些改動一起讓原本不斷被重寫的歷史有機會重用。只把截圖留得更久,仍需確認服務真的保存了可匹配的快取位置,以及下一次請求是否讀到它。

相同開頭,比相同總字數更重要

假設每次輸入都包含同一份服務規則,後面只增加新頁面資訊,服務有機會重用前面的內容。這是歷史只往後增加的做法。

如果每次又把服務規則重排一次,即使意思完全相同,輸入也可能不再匹配。快取關心的是請求內容與格式,不會替開發者判斷兩份文字語意相等。

工具列表的順序、欄位與說明也值得穩定管理。為了某次任務加入新工具時,應記錄改動,而非期待所有舊快取仍然有效。

這讓成本改善變成請求工程的問題。先保留可重用部分,再處理累積過多的內容,比每一步追求最短輸入更有依據。

Asana AI 代理 官方或原始專案示意素材
Asana AI 代理 官方/原始專案提供的示意素材。 圖片來源:Asana。

四倍與七十六倍,需要看比較對象

X 貼文用 GPT-6.1 Sol 每次執行從 1.97 美元降至 0.47 美元,描述約四倍的成本差距。按這組數字計算,最佳化後支出約為原來的四分之一。

這組美元數字來自貼文摘要。Asana 官方正文的七十六倍,是另一個比較基準,不能把 1.97 美元當成它的原始生產成本,直接推算相對結果。

官方七十六倍則比較原本使用的 Model B 生產設定與最佳化後的 GPT-6.1 Sol。模型與歷史策略一起改變,不能把全部改善都歸因於快取。

若固定 Model B,官方最佳設定的每次執行成本約為原生產設定的二十九分之一,速度約快四倍。Model B 是文中匿名模型名稱,官方沒有在這份資料揭露廠商,讀者不需要猜它的身份。

換成最佳化後的 GPT-6.1 Sol,成本才是約七十六分之一,速度約快五倍,89% 輸入由快取讀取。這個比例衡量輸入重用量,不代表 89% 任務成功,也不等於全部帳單節省 89%。

官方也指出部分基準執行碰到步數上限,折數是下限估計。這些資訊會影響數字的解讀,應和結果放在一起看。

同樣是成本降低,兩種比較回答的問題不同。工程團隊要隔離某個改動的影響,應固定模型。採購團隊比較整套方案,則可以衡量最終成功成本。

Asana 原文說明,每個條件只有三到四次執行,適合判斷較大的改善方向。若兩個方案只差幾個百分點,還不足以用這份小樣本判定其中一個穩定領先。

先拆模型,再拆歷史策略

可先在目前使用的模型上測兩個設定,一個維持原流程,另一個只改歷史保留方式。其他條件相同,差異才比較能解釋。

接著再評估另一個模型。若新模型同時更省錢與更可靠,應保留這個結果,但報告要寫成方案比較,不把它包裝成單一功能的效果。

每個條件需要重跑,因為代理走的路徑可能不同。這次少點兩個頁面,就可能少幾次請求,單次成功案例無法代表平均狀況。

成本表也應附上成功案件數。只列最便宜的那次,卻省略多次失敗,會讓團隊對實際採用後的支出產生錯誤預期。

建立自己的小型實驗

適合測試的任務,是有明確答案、需要多步瀏覽又能重複執行的工作。例如從測試系統整理幾筆訂單狀態,最後和事先準備的答案比對。

Asana 測了四個模型、六種快取與歷史策略、兩種預算,每條件執行三次,共一百四十四次,後續再補十二次。設計中同時保留模型與策略的差異,才能看清改善來自哪裡。

每次答案都和事先獨立準備的參考資料比對,費用則來自各供應商的用量計數。先固定評分依據,再看成本,可以避免用更短卻漏掉必要內容的回答當成進步。

官方表示,所有最佳條件的執行都接觸到一百九十二項事實。接觸過資訊與最後全部答對是不同結果,團隊自己的驗收仍要檢查輸出是否符合正確答案。

先把正確答案固定下來,再開始調整代理。若答案是在看到模型輸出後才修改,實驗就容易順著結果接受原本不該算成功的情況。

測試資料應不含真實客戶資訊,也不需要對外送出訊息。這樣可以反覆執行,專注觀察歷史策略造成的差異。

日誌應該保留哪些內容

輸入量、快取讀取量、輸出量與工具執行次數,可以一起記錄。這些資料能回答任務變便宜,是因為重用增加、步數減少,還是答案變得更短。

完成時間則應從任務開始算到結果驗證完畢。只計模型回應時間,會漏掉網頁載入、工具等待與重試,無法代表使用者體感。

當模型走錯路時,也要留下錯誤位置。快取雖可能降低每次請求成本,但長時間追錯問題仍會消耗資源,需要另外處理終止與恢復。

日誌不必對所有人開放原始內容。可以先提供去識別的指標與錯誤分類,讓團隊討論成本,避免為了分析而擴大資料曝光。

歷史保留越多,不一定越好

歷史穩定有利快取,但累積內容仍有模型容量與資料治理限制。過期頁面資訊留在對話裡,也可能讓模型把舊狀態當成現況。

因此,整理策略應由任務長度與資訊時效決定。短任務可以保留較完整的歷史。長任務則要有明確的整理時機與恢復資料。

整理之後要把已完成、未完成與最新狀態分開記錄。模型只收到一段籠統摘要,可能重新做已完成的步驟,抵銷原本省下的成本。

不要把二十比一當成標準答案

Asana 的批次保留設定是特定實驗條件。不同網站、畫面大小與模型容量,可能需要不同策略,應先測自己的請求資料。

官方後續測試保留全部截圖,Model B 與 GPT-6.1 Sol 的費用再降低。按每次模型呼叫計算,最佳批次設定的成本約是全部保留設定的 1.2 倍。

Model C 的每次呼叫成本則約低 5%。這些比較的單位是每次呼叫,與整項任務費用不同,採用時仍要量測最後完成任務的總支出。

這表示該次任務不一定需要刪截圖。若自己的代理只處理短流程,可以把全部保留也列成實驗條件,再確認成本與結果。長任務仍需要考慮累積內容是否超過模型容量。

如果任務只需看三個畫面,二十張截圖的門檻不一定有意義。如果頁面每次都有大量重複文字,穩定的文字表示可能比單純多留截圖更有幫助。

畫面和文字還要維持一致。留下舊截圖、卻只保留新文字時,模型可能對目前狀態產生混淆,成本與正確性應一起驗證。

這也是為什麼快取改善不能脫離任務驗收。便宜讀入錯誤背景,仍會得到錯誤答案。保持必要資訊,比保留所有資訊更重要。

把成本上限放在成功率旁邊

瀏覽器代理遇到未知情況時,可能持續嘗試。系統應為步數、時間與總費用設定上限,讓一次失敗不會無限累積請求。

上限不應只為了省錢而設得極低。若任務正常完成就需要多步查詢,過早中止會增加真人處理與重試,總成本反而可能上升。

可以先記錄一組正常任務的使用分布,再為異常長的執行設警示。警示出現時讓人判斷繼續或停止,比只按固定步數切斷更有資訊。

延伸閱讀:Bun 1.4.3 加入 bun check:AI 寫完程式,先檢查型別再執行

延伸閱讀:LangChain 模型分流實驗:Open SWE 成本中位數降低 64%,怎麼做到的?

成功成本怎麼算

把測試期間所有執行費用加總,再除以真正通過驗收的案件數,可以得到每個成功結果的成本。失敗執行與重試都應納入。

假設兩套流程各執行十次,甲共花十美元,只有五次通過驗收。乙共花十二美元,有八次成功。按所有執行費用除以成功件數,甲每件兩美元,乙每件一點五美元。

乙單次執行較貴,但取得一個合格結果的成本較低。這是假設算例,用來說明算法,不是 Asana 或作者的實測。人工作業與維護時間也尚未算進這組模型費用。

若兩套流程都成功完成同樣任務,再比較總費用、速度與維護難度。成功率不同時,先解釋差異,再判斷便宜方案是否仍值得採用。

例如較快的流程若少查一個必要欄位,就不能直接宣布效率提升。驗收規格需要一致,才能讓成本降低具有實際意義。

除了模型帳單,還要記錄人員處理例外的時間。工具雖省下請求費用,卻讓工程師花更多時間追查失敗,整體改善就可能有限。

Asana AI 代理成本常見問題

快取命中高,任務就一定便宜嗎?

還要看總輸入、輸出、工具費與執行次數。命中率只是其中一項,最終應以通過驗收的任務總成本衡量。

可以直接刪掉所有舊截圖嗎?

要先確認刪除是否破壞可重用的請求開頭,以及模型是否仍有足夠資訊理解狀態。批次整理通常比每步任意重寫更容易分析。

官方七十六倍能套用到我的專案嗎?

Asana AI 代理的這個數字,是特定模型與設定的比較結果,不能當成通用保證。可以借用實驗方法,固定任務與驗收標準,測量自己的流程。

只測一次夠不夠?

代理路徑會變動,單次結果只能作線索。至少要讓各條件有重複執行,並保留失敗與重試資料,才能比較大方向。

結語:先保存請求,再決定怎麼省

Asana 案例提醒團隊,輸入變短與成本降低之間需要實際量測。讓歷史保持穩定、確認資料仍然有效,再用成功任務成本驗收,才有可用的結論。

下一步可以挑一個現有代理任務,先加入快取與重試紀錄,暫時固定模型與工具。掌握成本花在哪裡,再逐項調整歷史策略。免費訂閱 AI 郵報,可持續追蹤代理工程與成本實驗。

資料來源