RAW-RAG 研究:保留原始對話就能改善 AI 記憶,六勝一敗該怎麼看?
RAW-RAG 用原始對話檢索與重新排序,在七組長期記憶評測設定中拿下六組最佳結果。本文解釋保留證據的價值、失敗案例與測試限制,整理團隊建立 AI 記憶系統前可採用的比較方法。
AI 記得你說過什麼,卻不一定能答對後來的問題。因為一段偏好可能有例外,一個決定也可能在隔天取消,只保留摘要,未必留下完整的判斷證據。
RAW-RAG 是一項檢查這個問題的研究。作者把原始對話切成小段,找出相關內容後交給模型回答,在七組評測設定中,有六組勝過論文比較的其他記憶系統。
這裡的 RAG 是先從資料中找證據,再讓模型產生答案的方法。因此,這項結果沒有要求模型永遠記住所有資訊,而是讓它需要回答時,能重新找到原話。
研究於 2026 年 10 月 22 日出現在 arXiv,隔天在 X 引起討論。它提供的是特定測試下的比較,不能直接推成所有 AI 產品都應停用摘要或結構化記憶。
對準備做長期對話功能的團隊,這是一個值得先建立的對照組。但如果工作還需要嚴格刪除、即時更新或處理多種媒體,就要另外測那些需求,不能只採用論文總分。
要理解它為什麼有效,得先看原始對話裡留下什麼。記憶系統的價值不只在存了多少句子,也在回答問題時,是否還找得到關係與時間順序。
RAW-RAG 保留的原始對話有什麼價值?
原始對話可以保留某個事實形成與改變的過程。因為後來的答案可能依賴前因後果,所以只留下一個整理過的結論,未必能支撐新的問題。
假設一段對話先說週五要出差,後來改成週六,接著又取消其中一個會議。若摘要只寫「週六出差」,就可能少掉會議是否仍存在的依據。
這是說明機制的例子,不是論文新增的實測案例。但它能幫助理解作者關心的差別:答案需要的證據,可能分散在幾段話之間,而不只是一個最終值。
依 RAW-RAG 原始論文,研究比較的複雜記憶系統,可能會抽取事實、產生摘要、建立關係或修改儲存內容。這些操作能整理資訊,但也可能改變後續可取得的材料。
因此,作者選擇先保留原始文字,再把解讀交給回答模型。這讓系統不用事先猜測每句話未來會怎麼被問,但也讓回答模型承擔更多整理與推理工作。
這個取捨很具體。當問題需要追溯關係時,原話可能提供幫助;如果歷史很長、雜訊很多,檢索就需要有效挑出真正相關的片段。
所以 RAW-RAG 並不是每次把全部紀錄塞給模型。它仍有一套挑選流程,而研究結果也必須連同這些設定一起理解。

從對話到回答,檢索與重新排序如何運作?
RAW-RAG 先從原始紀錄找候選片段,再重新排列相關程度。因為第一次搜尋不一定把最有用的材料排在前面,所以第二次篩選會影響最後交給模型的證據。
論文把紀錄切成每段 256 個 Token,相鄰片段重疊 32 個。Token 是模型處理文字的單位,重疊則讓切割點附近的句子不容易完全失去上下文。
接著,系統把文字轉成可比較語意的數值表示。提問也用相同方式處理,因此搜尋不必只靠完全相同的字詞,而能找意思接近的內容。
第一次搜尋選出 128 個候選片段,再由另一個評分模型檢查問題與片段的關係,挑出前 15 個。這就是重新排序,目的在於減少交給回答模型的無關內容。
最後,回答模型收到問題與挑選後的原始證據,再推理時間順序與狀態變化。因此,檢索負責「找得到」,回答模型負責「用得對」,兩個階段都會影響正確率。
這些數值是論文設定,不是每個應用都應照抄的固定答案。因為你的對話長度、問題類型與模型能力可能不同,實際部署仍要測片段大小與選取數量。
如果相關片段沒進入最後清單,再好的回答模型也缺少材料。反過來,找到原話卻解讀錯誤,也不代表儲存更多內容就能改善,所以研究把證據覆蓋與使用效果分開分析。
延伸閱讀:EverOS 記憶怎麼用?本機檔案、Cloud 與 AI 代理跨對話的工作流程
六勝一敗比較的是哪些結果?
「六勝一敗」指四個主要評測、七組評測與模型設定中的比較。因為模型與題型的組合會影響名次,所以這個結果只涵蓋已測範圍,解讀時要保留完整口徑。
作者使用 LoCoMo、LongMemEval、MEME 與 MemoryAgentBench。這些評測涵蓋對話回憶、時間推理、狀態變化與長距離理解,但重點仍是論文設計的對話問答工作。
在七組設定的六組中,RAW-RAG 排在被比較的記憶系統第一名。相對各組最強的比較對象,領先幅度為 0.13 至 5.53 個分數點,所以有些差距很小,不能全部形容成大幅勝出。
這裡的分數點也不能換成速度倍數。因為它衡量答題結果,並非每次查詢所需時間,所以「答案較準」與「執行較快」仍是不同問題。
論文還列出把全部內容交給模型的對照,但主要名次的表述限定於被比較的記憶系統。因此,不能省略範圍後寫成「任何基線都全面輸給它」。
不同問題類型的表現也會不同。總分能協助比較整體結果,但如果產品主要處理時間變更或刪除要求,就應特別查看對應題型,因為平均分數可能掩蓋需求上的不足。
研究的意義是提高對照組的標準。當簡單檢索已經做得足夠完整,複雜系統就需要證明新增步驟帶來什麼改善,而不是只和過弱的搜尋方法比較。
為何保留答案以外的關係也很重要?
原始證據有價值,往往因為它保留了答案怎麼得來。只抽出最後數值或一句偏好,可能遺漏適用條件,因此後來換一種問法就不容易回答。
例如,使用者說喜歡早班車,後面補充只有週一例外。如果記憶只留下「喜歡早班車」,回答系統可能看似記得偏好,卻忽略真正影響安排的條件。
論文的分析指出,取得答案值並不保證取得足夠的支持路徑。因為某些題目需要連接多個片段,所以證據之間的關係也必須留得住。
作者也比較了讓模型接觸轉換後記憶庫的情況,但完整讀取這類記憶仍未消除與原始證據之間的差距。這說明問題可能在資料整理時已經產生,而不只是搜尋沒找到。
不過,這仍不表示原始資料自然就能正確回答。若模型沒有處理時間先後或條件例外的能力,取得更多文字仍可能造成混淆,所以回答模型能力也是重要限制。
對產品團隊而言,可以把錯誤拆成兩類:必要證據未被選中,以及證據已提供但被誤讀。因為兩者需要不同修改方向,所以這樣追查比只記錄最後答錯更有用。
若只看總分,很容易把所有進步歸給「記得更多」。但保留原話、選對片段與理解關係是不同步驟,需要各自的證據,才能知道系統真正改善了哪裡。
把證據直接提供給模型,能分辨什麼問題?
研究另有直接提供足夠原始資訊的診斷測試。因為這種設計先移除搜尋失誤,就能觀察回答模型面對時間變動時,是否仍有理解上的困難。
在 MEME 的這類測試中,不同回答模型的表現差異很大。這說明同樣的證據給不同模型,結果也可能不同,所以不能把某個強模型的成績直接搬到較小模型的部署預期。
對產品來說,可以先由人工把正確片段放進問題,再看模型是否答對。如果仍答錯,就先處理問題表達或推理能力,因為此時繼續擴大搜尋範圍,未必解決主要瓶頸。
Mem0 的變動消融與成本結果怎麼讀?
論文測試某些記憶修改是否真的有幫助,但結論限於設定內。這種消融實驗是拿掉一個功能再比較結果,因此能檢查該步驟的貢獻,不能直接替所有產品下定論。
在兩個資料集的 Mem0 寫入決策中,真正改變文字的更新或刪除,占比分別為 1.90% 與 1.34%。分母是研究統計的寫入決策,因此不能解讀成所有記憶只有這麼少比例有用。
作者在一個設定中,把更新改成新增、刪除改成不動作,整體正確率由 67.36% 到 69.42%。這代表該次測試不依賴原有修改步驟取得較佳答題結果,但不代表刪除功能在真實產品裡可以取消。
因為真實使用者可能要求移除資料,產品仍需要遵守自己的資料政策。保留原始證據的研究方法,不能變成「任何對話都永久保存」的理由。
原始檢索也有自己的成本。資料越多,需要的儲存與索引維護可能增加,重新排序與回答也會使用計算,所以較少前處理不等於總成本必然最低。
論文特別提醒,證據主要來自公開資料上的離線對話。互動工作、多模態輸入與更廣的營運情境仍需額外評估,因此部署時應把延遲、正確率與刪除需求一起衡量。
延伸閱讀:FEB-30 記憶評估研究:AI 答對問題,為何仍可能把重要資料記錯?
如何在自己的長期任務建立比較?
第一步是選出產品真正需要回答的問題,保留一份可回溯的測試資料。因為這項研究比較的是具體任務,自己的評測也應對應實際使用,而不能只模仿論文名次。
可以納入跨天修改、條件例外與前後衝突等案例,再為每題標出必要的原始片段。這樣答錯時就知道是沒找到資料,還是找到了卻推理失敗。
接著用同一個回答模型、相近的輸入預算,比較原始檢索與整理後的記憶。因為模型與可讀篇幅也會影響結果,所以不能同時改很多條件後,把差異全算到儲存方法上。
還可以把找到的片段、答案與所需時間一起保存。這讓團隊能檢查正確率改善是否伴隨更多等待,也能判斷哪些題型值得付出額外成本。
如果工作需要刪除資料,就把刪除後不能再檢索到的條件列入測試。因為資料處理是否符合要求,本來就是產品的一部分,不能等模型成績做好才補上。
同時還要記錄比較使用的原始資料時間範圍。某個問題如果只能使用當時已出現的訊息,就不應提前提供後來的對話,否則模型看似記得正確,其實讀到了不該取得的答案。
這也是證據可回溯的用途。當團隊能列出每次回答所讀的片段與時間,就較容易辨認資料外洩、時間穿越與真正的推理進步,避免用一個總分掩蓋不同原因。
最後再決定是否加入摘要或關係結構。當錯誤證據指出簡單檢索已遇到明確瓶頸,新增複雜度才有可核對的目的,也較容易衡量投入是否值得。
FAQ 常見問題
RAW-RAG 是否證明所有 AI 記憶系統都沒必要?
沒有。研究支持在已評估的對話任務中,原始歷史檢索是強而重要的比較基線。更長歷史、互動任務與其他營運需求仍要另外測試。
六勝一敗代表六個資料集都獲勝嗎?
不是。它指四個主要評測組成的七組評測與模型設定,其中六組在被比較的記憶系統中排名第一。
保留原始對話是不是就不能刪資料?
不是。論文明確指出儲存、隱私與刪除限制是需要處理的問題。研究方法不能取代產品對資料保存與刪除的規定。
先證明檢索不足,再增加記憶系統的複雜度
RAW-RAG 適合拿來作為長期對話系統的第一個對照組。它提醒團隊先檢查證據是否完整、模型是否讀得懂,再決定要不要加入更多整理步驟,因為這樣才能知道每次修改解決了什麼。
如果你正在比較記憶工具,可以先挑自己的跨天問題做小型評測,再查看檢索與答案紀錄。免費訂閱 AI 郵報,也能持續追蹤 AI 記憶、研究方法與開發工具的新進展。