FEB-30 記憶評估研究:AI 答對問題,為何仍可能把重要資料記錯?

FEB-30 用 30 條事實演變軌跡評估 AI 代理記憶,發現儲存狀態與問答成績可能不同。本文拆解 16.8 個百分點差距與操作分類結果,說明客服、專案助理如何分別檢查寫入、檢索與回答。

Share
FEB-30 記憶評估原始論文首頁
FEB-30 原始論文首頁,介紹直接檢查記憶狀態與問答評估的差異。 圖片來源:官方原文。

AI 助理答對問題,常讓人以為它已經把資料記好。FEB-30 研究提醒我們,正確答案有時能掩蓋記憶中的缺漏,所以只看最後回答,可能找不到系統真正的問題。

情況也可能相反,資料明明存對,助理卻找不到,最後答錯。因為儲存、搜尋與組織答案是不同步驟,單一問答分數會把這些能力混在一起。

這篇由 AWS 與克盧日納波卡科技大學研究者參與的預印本,於 2026 年 10 月 15 日提交,並在 X 出現討論。作者提出一套事實演變基準,直接檢查每次讀取文件後,記憶裡實際留下什麼。

在主要受測系統裡,記憶狀態與問答評估平均相差 16.8 個百分點。這個數字反映指定系統與題組,不能推論所有 AI 記憶產品都有同樣錯誤率。

對正在做客服或專案助理的團隊,實用的啟發是把「有沒有記對」和「能不能答對」分開驗收。兩種檢查一起做,才比較知道錯誤該從哪裡修。

要理解這個研究,先把一份資料如何變成助理答案拆開,再看新基準如何找到傳統問答看不到的缺口。

FEB-30 在評估什麼?記憶、檢索與回答是三件事

FEB-30 關心的是事實如何隨時間變化,以及系統能否正確保留最新狀態。它把資料存進去之後直接檢查,而不只問一個問題、看答案是否正確。

一般助理會先從文件擷取值得記住的內容,再存成可搜尋資料。使用者提問時,系統找出相關記錄,最後讓語言模型組織答案,因此整條流程包含多個可能出錯的位置。

如果第一步就把內容存錯,後面可能仍靠其他片段猜出答案。相反地,即使記憶正確,搜尋沒有找到那一筆,也可能讓最後回答失敗。

依 原始論文說明,研究把直接查看記憶的方式稱為內在評估,把最後問答表現稱為外在評估。名稱聽起來抽象,但用途很明確,前者檢查存了什麼,後者檢查使用者拿到什麼。

為何答對仍值得回頭看記憶?

因為下一次問題可能需要不同細節。某次答案剛好能從不完整資料推導,並不代表缺少的資訊永遠不重要,所以只要換個問法,原本隱藏的缺漏就可能浮現。

例如系統知道某項服務即將改版,卻漏記確切生效日。它可能答對「有沒有更新」,但遇到「哪一天開始適用」時就失去依據,因此兩題的成功與失敗可能來自同一份不完整記憶。

這個例子是用來理解機制,並非本篇實際測試的案例。它說明直接查看資料狀態,能在使用者問到缺漏細節之前,先找到需要修正的位置。

但查看記憶也不能取代問答,因為存對不代表找得到或說得清楚,所以兩種評估應該互相補充。

FEB-30 記憶評估原始論文首頁
FEB-30 原始論文首頁,介紹直接檢查記憶狀態與問答評估的差異。 圖片來源:官方原文。

FEB-30 的 30 條事實軌跡怎麼建立?先定正確狀態,再產生文件

研究先定義事實應如何演變,再生成承載這些事實的文件。這樣在每個時間點都知道正確答案,較容易判斷系統讀完新資料後,應該新增、更新或保留什麼。

這種順序與先收集大量真實文件、再請人標記正確狀態不同。作者稱為範式反轉,白話就是先寫出標準劇情,再把它做成文件,讓評估有可核對的底稿。

基準包含 30 條軌跡、六類診斷情境與三個難度,共生成 147 份文件。其中也加入干擾內容,觀察系統會不會被無關資料帶走,或在搜尋時忽略正確資訊。

為何要測資料隨時間改變?

因為實際工作中的事實常會更新,例如專案時程、系統設定或客戶需求。助理若只會累積文字,卻無法判斷新資訊與舊記錄的關係,就可能同時保留互相衝突的版本。

有些新文件只是再次確認原本內容,這時應提高可信度或保留記錄。有些則明確取代舊狀態,這時需要標示更新,兩種操作雖然都看到相似文字,處理方式卻不同。

多作者資料還多了一層來源問題。兩個人對同一件事有不同說法時,系統需要保留誰說、何時說,以及說的是哪個範圍,否則容易把局部意見合併成全體事實。

有明確的事實軌跡,研究者就能逐步查看系統在哪裡偏離,而不必等到最後答錯,才猜測是哪一份資料造成問題。

FEB-30 的 16.8 個百分點差距代表什麼?不能當成全產業錯誤率

主要實驗中,兩種評估的平均絕對差距為 16.8 個百分點。百分點是兩個百分比直接相減的單位,例如 70% 與 50% 相差 20 個百分點,與成長百分比的算法不同。

平均絕對差距描述的是兩個分數不一致的程度,並不指定哪一邊一定較高。因此不能把它寫成所有系統都高估記憶 16.8%,更不能解讀成每次對話都有同樣比例的錯誤。

作者另用通過門檻比較兩種評估,約有五分之一的軌跡會得到不同的通過判定。這說明換一個評估位置,就可能改變團隊對系統是否可用的理解。

操作分類約 20% 正確,是不是八成答案錯?

不是同一個指標。約 20.1% 指系統是否把記憶動作正確分成新增、更新、強化或取代,這與最後答案是否正確,屬於不同層次。

例如一份文件只是再次支持原本的事實,系統卻標成更新,動作分類就可能錯誤。但最後保留的內容仍可能部分正確,所以不能把分類錯誤直接換算成問答錯誤。

這個結果的價值,在於指出可修的元件。若動作判斷不穩,團隊可以改善資料關係辨識。若資料存得好卻找不到,就應優先處理搜尋,而非盲目重寫全部記憶功能。

研究數字應該用來定位問題,而非替某個產品貼上可靠或不可靠的標籤。要比較不同產品,仍需要相同資料、設定與評分流程。

用在客服時,怎麼處理更新、確認與過期資訊?

客服記憶最需要分清目前有效的規則與歷史狀態。因為客戶可能在不同時間引用不同版本,系統若只保留最新一段文字,也可能失去理解舊案件的背景。

例如一項優惠延長期限,系統應知道新期限取代了哪個欄位。但如果客服只是再次確認舊規則沒有變,系統就不應憑相似文字重新改寫日期。

這些處理需要對象與時間一起判斷。某位客戶的特例,不一定能更新所有客戶的政策。同一段話若屬於草案,也不應立即變成正式規則。

專案助理為何也會遇到相同問題?

專案資料常分散在會議、文件與對話,內容會逐漸補充。初步估計、已確認日期與正式改期,可能使用相似用詞,但對接下來的安排有不同效力。

若助理只依最新訊息覆蓋舊資料,就可能把推測當成決議。若完全不更新,又可能一直引用過期時程,因此需要保留來源與狀態,讓變更有可回查依據。

對團隊而言,實用的做法是先選幾種常見變更,寫清楚讀完新文件後的預期狀態。例如日期改了就更新日期,新增聯絡窗口則保留原本的專案資訊,避免整筆覆蓋。

這些例子是依研究機制推導的應用方法,沒有代表論文已測完所有客服與專案情境。它們的用途,是幫助團隊把抽象的記憶品質轉成可測問題。

如果正在做跨對話記憶,也可以對照現有系統如何保存工作資料,再加入狀態更新的檢查。

延伸閱讀:TencentDB Agent Memory 是什麼?把 AI 工作記憶分層,本機儲存還要注意哪些事?

團隊如何加入記憶驗收?把每次寫入後的狀態留下來

第一步可以從一小組真實工作變更開始,先寫出每份新文件之後應保留的事實。這份底稿需要有人確認,因為如果標準答案本身不清楚,後面評分再精細也沒有意義。

接著讓系統依序讀取文件,並在每次讀完後保存記憶狀態。這樣可以知道新資訊在哪一步被漏掉、錯改,或被不相關內容擠掉,而非只留最後一次結果。

問答則另外進行,而且應包含多種問法。因為同一份記憶可能在某些查詢中找得到、另一些找不到,這能幫助分辨儲存與檢索的差異。

檢查時也應區分遺漏與矛盾。漏掉一個欄位,可能讓系統承認不知道。把舊值當成新值,則可能形成看似肯定卻錯誤的答案,所以兩種問題的處理優先順序可能不同。

團隊可以把影響決策的欄位另外標出,例如生效日與適用對象。當這些欄位出錯,即使其他描述大致正確,也應回到原文件查核,避免用平均相似度掩蓋關鍵差異。

對照表應該放哪些內容?

最有用的欄位是當時應有的事實、實際保存的事實、檢索取得的內容與最後答案。四者放在一起,就比較容易看出系統在哪個步驟開始偏離。

例如應有事實正確、記憶也正確,檢索卻取出舊版,就應先檢查搜尋與排序。若檢索已帶回正確內容,最後答案卻說錯,則問題更接近生成與指令理解。

如果一開始就存錯,就回到擷取與更新規則。這種拆解能減少團隊反覆換大模型,卻沒有修到資料處理缺口的情況。

結果也要保留失敗樣本,而不只看平均分數。因為某些低頻錯誤若會改錯客戶條件或專案期限,即使總分不差,也可能需要優先修正。

這份研究有哪些限制?小型合成基準仍需要真實資料補足

這份基準的優點是正確狀態已知,但文件來自生成流程,與真實多人長期協作的資料仍有差距。實際文件可能包含更模糊的權責、例外與沒有明說的背景,所以不能完全靠合成題組完成驗收。

30 條軌跡也屬有限範圍。研究著重事實演變,沒有涵蓋所有情節式記憶、技能與個人習慣,因此不能拿結果評斷一切形式的 AI 記憶。

評分過程使用語意相似度與模型判斷,也可能引入測量誤差。當兩句話意思相近卻細節不同,仍需要回到原始事實檢查,避免把評分器當成完全無誤的裁判。

後續若有更多獨立系統與真實資料重現,就能更清楚知道哪些問題普遍存在。目前最值得採用的是評估方法,而非把特定百分比套到每一個產品。

理解這個差別後,團隊可以繼續保留使用者端問答測試,同時增加資料狀態檢查,讓兩者各自回答不同問題。

延伸閱讀:Devin Dreaming 是什麼?Cognition 用 Agent Memory Repo 整理跨任務記憶

FEB-30 常見問題 FAQ

FEB-30 是新的記憶資料庫嗎?

它是評估基準與方法,重點在事實隨時間變化後,系統有沒有保存正確狀態。它沒有直接取代記憶資料庫。

只檢查記憶,就不用做問答測試嗎?

仍然需要。資料保存正確,還要能被找到並形成正確答案,所以兩種評估應一起使用。

研究證明所有 AI 記憶都不可靠嗎?

研究揭露指定系統與題組中的評估差異,沒有提供所有產品的通用錯誤率。其他系統需要依自己的資料與流程重新測試。

適合把記憶視為產品功能的團隊,從資料狀態開始查錯

只做一次性聊天的產品,未必需要完整長期記憶評估。但如果產品承諾記住客戶條件、專案變更與跨對話資料,就應把實際保存內容納入驗收,因為這些承諾會影響後續工作。

答對與記對分開檢查,才能把修正資源放到正確位置。歡迎免費訂閱 AI 郵報,持續追蹤 AI 代理記憶、評估方法與實際產品的發展。

資料來源:原始論文與作者資料、論文全文與實驗表格。兩者為同一研究的不同載體。