EditRecBench 研究:AI 能預測修改要求嗎?為什麼少給建議反而更準?

EditRecBench 用 12,298 個修改要求案例測試 AI 能否預測下一步。解析 pass@5、未知資訊與篩選後子集增加十二至二十五個百分點的條件。

Share
EditRecBench 論文圖一,AI 對會議邀請信提出修改建議,加入議程與使用者要求相符
原論文用會議邀請信說明任務,三個預測建議中,加入簡短議程符合示例使用者的下一個要求。 圖片來源:官方原文。

寫完一段文件後,AI 如果能先猜到你想改短、換語氣或補哪個條件,就可能少一次來回。EditRecBench 研究把這個直覺拆成可測量的任務,也問了一個產品問題:猜不到時,是否應該少給建議。

NTT 研究者 Daisuke Kikuta 在 2026 年 11 月 16 日提交預印本,從真實對話整理出 12,298 個修改要求案例。研究預測的是使用者接下來會要求哪種修改,並沒有直接衡量修改後的作品品質。

每個模型一次提出五個可能要求,評測再檢查至少一個是否涵蓋實際要求。這讓「猜得像」和「真的猜中要改的地方」可以分開,避免籠統的改善建議也算成功。

八個受測模型的 pass@5 約落在一成到四成七。但使用者若加入對話中從沒說過的新資訊,命中率明顯較低,因為模型沒有足夠線索知道那些條件。

這項研究適合設計寫作與程式助手的產品團隊參考。它支持先檢查建議是否值得顯示,再決定要不要打擾使用者,但尚未證明上線後一定節省時間或提升採用率。

要理解少給建議為什麼可能更準,先要看研究如何定義命中,再把被保留的比例放回結果一起閱讀。

EditRecBench 怎麼定義猜中修改要求?

一個候選要求必須涵蓋實際要求中的所有修改條件,才會被判為命中。

原論文將預測對象定義為使用者對上一份作品提出的修改要求。作品可以是程式、文件、清單或表格,模型看到的是要求發生之前的對話,不能先讀到使用者下一句再作答。

評分也不只比較句子相似。研究先把真正的要求拆成個別條件,例如要修改哪一部分、往哪個方向改,以及是否指定名稱或數量,再檢查預測是否完整滿足它們。

假設使用者想把信件改短並加入會議議程,模型只猜「讓內容更好」就不算命中。因為這句話沒有指定修改方向,若也算成功,評測就會讓籠統建議看起來比實際上更有用。

pass@5 則是在前五個候選裡,至少有一個符合所有條件的案例比例。這不同於五個建議各自正確的比例,也不是使用者最後點了哪個建議,因此必須和產品採用率分開。

原論文以 AI 評審拆解與檢查要求,主要使用 Claude Haiku 5.5,重複三次再採多數決。這有助於觀察判斷是否一致,但同一模型三次同意,仍不能被當成完全符合人類評審的證明。

研究另外公布提示與檢查方法,讓讀者能看它如何處理等義改寫、相反要求與缺漏。這些細節會影響分數,所以引用結果時應保留本研究的命中定義,不能換成更寬鬆的日常用語。

研究中的候選還必須彼此有意義地不同。若五個選項只是把「改短」換成五種說法,雖然看起來提供很多按鈕,實際涵蓋的使用者意圖仍很窄,因此候選數量不等於需求覆蓋。

同時,要求中的新增細節只要不衝突,評審可能允許較具體的預測通過。但相反方向或缺少必要條件就會影響命中。這讓評測關注修改要求的內容,而非拘泥於句子必須逐字相同。

因此產品若採用不同寬嚴程度的判定方式,應把定義一起公開。否則兩個服務都說命中率提升,實際上可能只是其中一個把泛用建議也算進成功。

定義清楚之後,資料從哪些對話而來,就會影響結果適用範圍。

EditRecBench 論文圖一,AI 對會議邀請信提出修改建議,加入議程與使用者要求相符
原論文用會議邀請信說明任務,三個預測建議中,加入簡短議程符合示例使用者的下一個要求。 圖片來源:官方原文。

12,298 個案例能代表哪些使用者?

資料主要來自英文歷史對話,能觀察常見修改互動,但無法直接代表所有語言與新產品。

資料來自 WildChat-4.8M 的歷史對話,原始時間橫跨 2023 年四月至 2025 年七月。作者先依規則篩選,再用模型抽出修改要求,並保留多次抽取一致的樣本,降低把新任務誤當修改的機會。

最終留下 12,298 筆,並以時間分成訓練 10,277 筆、開發 885 筆與測試 1,136 筆。開發資料用來調整設定,測試資料則保留到最後評估,讓調參和評分不完全使用同一批案例。

這些對話主要為英文,且原始作品至少三百個字元,並排除部分不適合的資料。因此結果較接近這類文字作品的互動,不能直接代表短句聊天、所有繁體中文工作或最新助手產品。

作者也限制同一使用者的取樣,最後每位使用者取一個案例,避免極活躍者主導資料。這種方式改善了個別使用者權重,但仍不會把資料變成所有網路使用者的隨機樣本。

正式比較時測了八個模型,並對支援推理的模型使用指定設定。這是一組受測模型的研究,並未涵蓋 2026 年 11 月推出的每個最新產品,因此不應用它重新宣布通用模型排行榜。

對產品團隊而言,可以學習這種以真實修改互動建立評測的方式,但若要部署在中文寫作或公司內部程式流程,仍需另外取得有授權的本地樣本,確認任務和使用者習慣是否相近。

了解樣本邊界後,模型成績中的落差才有適當的解釋。

為什麼有些要求特別難預測?

當使用者帶入未曾提過的事實或限制,既有對話通常不足以推導完整要求。

整體測試中,受測模型的 pass@5 約為 10% 至 47%,其中 GPT-6.1 Sol 為 47%。這表示在指定資料與評分下,五個候選中至少一個命中的比例,並不表示模型有相同比例的時間能自動把作品改到滿意。

作者再把樣本分成含新資訊與不含新資訊。以該模型為例,後者的 pass@5 為 57%,前者為 18%,落差顯示使用者後來加入的條件,會大幅改變可預測程度。

例如前文只談要寄一封訓練邀請信,使用者之後才說可以利用每週一固定會議時間。若固定會議從未出現在對話,模型便沒有證據知道這個安排,猜不到不一定是語言能力不足。

這也說明產品設計不能把「模型更強」當成所有錯猜的解方。有些資訊本來就在使用者手上,較合理的互動可能是留給他補充,而非不斷生成更多看似合理、卻無依據的條件。

論文把所有受測預測合在一起的經驗上限列為 61%。這是這組方法在這批案例的聯集結果,不是數學上的不可超越上限,因此未被猜中的部分,不能一律宣稱永遠無法預測。

對一般讀者而言,關鍵差別在於可從既有內容推導的需求,與只能等人告知的新事實。把兩者分開,就能理解為什麼助手應提供便利捷徑,同時保留自由輸入與直接說明的空間。

因此產品可以先辨識這類高不確定案例,再決定是否顯示建議。

少顯示建議,準確率如何改變?

研究用決策模型篩掉較不可能命中的建議,提高的是顯示子集合中的命中率。

研究引入一個額外的決策模型,先讀既有對話和五個候選,估計其中是否可能包含正確要求。分數未達門檻就不顯示建議,達到門檻才把候選交給使用者,這個過濾步驟稱為 gating。

作者以 Qwen3.5-4B 為基礎調整模型,透過較小的附加參數學習這項判斷,並用訓練資料中的候選結果建立標籤。這是研究方法的一部分,不代表一般助手已經自動學會每位使用者的長期偏好。

在選擇讓開發資料約兩成案例通過的門檻時,顯示出來的子集合,pass@5 可增加十二至二十五個百分點。門檻由開發集設定,測試時實際通過比例仍可能不同,因此不能硬寫每一批都恰好顯示兩成。

提高的分母是被顯示的案例,而非所有案例。若省略這點,就會把篩掉較難問題後的成果,誤當成模型在每次互動都變得更準,這兩種解讀對產品價值有很大差距。

較少顯示也可能少掉原本有用的建議。因而除了子集命中率,還需要看覆蓋多少互動、漏掉多少可命中的案例,以及額外模型判斷所花的時間與費用,才能知道過濾是否划算。

論文也測試未參與訓練輸出的預測模型,觀察過濾器是否能轉移。但離線成績仍無法回答真實使用者會不會喜歡這種安排,因為他們可能覺得建議少了更清爽,也可能根本不看建議列。

顯示比例下降也有代價,實際產品仍要測量使用者是否受益。

寫作與程式助手可以怎麼採用?

把建議當成可選捷徑,並保留自由輸入,能降低錯猜意圖對工作流程的干擾。

若要應用在寫作助手,可以先把建議放在作品完成後的可選位置。使用者想改短或調整語氣時可以點選,但不應因模型預測某個方向,就直接覆蓋原文或替使用者新增未說過的內容。

程式助手也可以用相同原則,把可能的測試、重構或解釋需求當成捷徑。若建議牽涉執行程式或變更外部系統,點選意圖與實際動作的權限仍需分清楚,預測本身不構成操作授權。

第一輪評估可以同時保留顯示與未顯示的結果,觀察命中、點選與後續修改量。只看被點選的建議,會漏掉那些讓人忽略或覺得干擾的內容,也不容易估算真正的互動改善。

時間效益也需要量測。原研究提出降低回饋負擔的用途,但沒有藉線上對照實驗證明每位使用者省下多少秒,因此產品上線前應把它當成待驗證假設,而非可直接寫進承諾的數字。

資料使用則應遵守原有授權與隱私安排。真實對話可能帶有工作內容或個人資訊,建立企業內部評測時,需要先處理可使用的範圍,不應只因公開研究用了對話資料,就任意蒐集員工聊天紀錄。

研究的原始程式專案讓開發者有檢查流程的起點。導入時仍應先讀版本與條件,在自己的樣本上驗證,再決定是否值得增加一個過濾模型與相應維護工作。

當線上測試同時量到命中、覆蓋與使用者負擔,才知道這個設計是否值得。

EditRecBench 常見問題

EditRecBench 測的是 AI 能不能自動修改得更好嗎?

它主要測能否猜中使用者下一個修改要求。實際修改品質、採用率與節省時間是其他需要測量的結果。

十二至二十五個百分點是全部案例都改善嗎?

不是。提高的是通過過濾後、被顯示建議的案例子集合,必須連同顯示比例一起讀。

這是已通過同儕審查的產品功能嗎?

本次來源是 2026 年 11 月 16 日提交的預印本與研究程式,不能把它當成已獲期刊驗證或所有助手都已上線的功能。

讓建議成為捷徑,讓使用者保留補充新資訊的空間

若產品正準備加入下一步建議,可以先用小規模歷史案例檢查命中定義,再比較全部顯示與經過篩選的差異。把覆蓋、成本與使用者負擔一起記錄,比單追求子集準確率更完整。

而對使用者而言,遇到不符合需求的建議,直接補上新條件通常更有效。這項研究提醒開發者尊重資訊邊界,讓助手在有線索時少一次來回,在沒有線索時保留對話空間。

延伸閱讀:決策模型怎麼做 LLM 評測?Hamel Husain 教你調門檻、比成本、讀分數

延伸閱讀:Hugging Face Decision Models 整合:AI 分類不用先寫一段話,機率又能信多少?

資料來源

Read more