QBR 提示詞實驗：同一份資料問 12 次，AI 改了結論，也說清楚限制嗎？
QBR 提示詞實驗用三種問法、十二份 AI 輸出比較季度報告。結果沒有符合原先預期，三組都推翻舊結論，差異出現在是否交代相關與因果限制。看清合成資料與小樣本的邊界。
QBR 是季度業務回顧，重點是理解這一季發生什麼變化，再決定接下來怎麼做。如果只把舊簡報的數字換掉，很可能也把舊解釋一起留下。
AI 郵報 11 月 13 日做了一次小型實驗，原本預期「只更新數字」會保留錯誤結論，更完整的問法才會找出問題。
結果沒有照預期發展。三種問法留下的十二份輸出，都推翻了舊簡報對流失的解釋。差異出現在另一件事：有沒有說清楚，資料呈現的關係還不能證明原因。
實驗只用一組合成資料與一個模型，模型名稱由執行實驗的代理自行回報。因為資料與輸出數量有限，結果適合提醒我們怎麼驗收 AI 報告，無法替所有工作選出最有效的提示詞。
問法從哪裡來？先分清作者建議與實驗設計
這次題目受到 Felix Rieseberg 的文章啟發。作者建議把目標交給模型，別只要求更新範本中的數字。
他的重點是讓 AI 有機會檢查現有看法，並提出下一步。但這是作者個人的工作建議，不能直接當成 Anthropic 官方實證指南。
實驗借用虛構公司 Acme 的情境，另外製作客戶資料與舊簡報。所有客戶都是合成紀錄，沒有使用真實公司的個人資料。
三組問法各留下四份結果。A 組是本站依作者想法寫的任務句，B、C 則採用原文的兩種問法，以下以中文整理其意圖。
| 組別 | 交辦重點 | 來源 |
|---|---|---|
| A | 更新舊簡報的 Q3 數字，交回完成版 | 本站自編 |
| B | 說明本季變化、原因與應採取的行動 | Felix 原文 |
| C | 用原始資料檢查新手引導問題的既有看法 | Felix 原文 |
三組都拿到相同的客戶資料與舊簡報。這樣才能把觀察集中在問法和輸出的差異，而不是讓不同資料混進比較。
假資料裡，哪些數字不支持舊解釋？
舊簡報把流失主要歸因於新手引導信，建議重寫信件。但 Q3 的開信與未開信群組，流失比例非常接近。
資料包含 Q2、Q3 各六百位新客戶。以 Q3 六百位計算，共七十三位在設定的六十天期限內流失，整體約百分之十二點二。
把人數與流失人數一起列出，比只看百分比更容易知道比較基礎。
| Q3 分組 | 客戶數 | 流失人數 | 流失比例 |
|---|---|---|---|
| 有開引導信 | 293 | 36 | 12.3% |
| 沒開引導信 | 307 | 37 | 12.1% |
| 七天內完成串接 | 430 | 18 | 4.2% |
| 七天內未完成串接 | 170 | 55 | 32.4% |
開信的兩組接近，完成串接與否的兩組差距較大。所以這份資料不支持直接沿用「把引導信寫好就能解決」的舊解釋。
但這仍是分組觀察。真實情況可能是更積極的客戶本來就容易串接，也較不容易流失。只看到兩組差異，不能把串接直接當成原因。
而且這份資料由本站刻意設計，主要關係相對清楚。實際業務資料通常有缺值、重複紀錄和更多互相影響的因素，難度不同。
十二份都改了結論，差別出現在哪裡？
最初的預期沒有成立。A 組雖然只被要求更新數字，四份仍都修改了舊簡報的信件解釋，也指出串接與客戶來源的差異。
B、C 兩組也都找到相同方向。因此，在這十二份輸出裡，「有沒有找出主要分組差異」沒有區分出哪種問法較好。
因此，接著比較的是報告有沒有交代限制。A 組四份沒有明確說明觀察資料與因果的差距，B、C 的八份都有這類說明。
| 驗收項目 | A 組四份 | B、C 組八份 |
|---|---|---|
| 不沿用舊信件解釋 | 全部 | 全部 |
| 指出串接差異 | 全部 | 全部 |
| 明說相關不等於原因 | 0／4 | 8／8 |
這個結果支持的說法很有限：在這批輸出裡，交辦分析目標的兩組，把限制說得更清楚。它不等於其他任務也會得到相同比例。
「十二份」也不是十二次執行全都順利。C2 首次沒有存出答案檔，重跑後才納入，解讀樣本時應把這項情況算進去。
當時模型名稱由子代理自報為 Sonnet 5.5，沒有獨立驗證。這篇整理的是既有紀錄，沒有另外重做模型比較。
拿到 AI 報告，怎麼核對它改了什麼？
先看數字是否能重算，再看解釋是否比資料更強。算對比例和找對原因，是兩個需要分別確認的工作。
因為不同分組與期限會改變比例，你可以要求報告對每個主要結論附上人數與計算式。例如流失比例就要知道流失幾人、分母是誰，以及觀察期限是否相同。
接著把新版與舊版的結論並排。如果 AI 改掉了原本的看法，應明確指出改了哪一句、依據是什麼，讓接手的人不必從整份簡報猜差異。
最後請它列出其他可能解釋，以及要怎麼取得更有辨識力的資料。像本例中，更適合把串接當成優先調查方向，再設計後續驗證。
這些是根據實驗整理的工作建議，並非本文已證明某一套提問流程能穩定提高準確率。
常見問題
這次 QBR 實驗證明問法不重要嗎？
沒有。資料很乾淨，而且三組都拿到足夠線索。只能說這批輸出都改了舊結論，不能推廣到資訊不完整或關係複雜的工作。
八份都寫限制，就代表分析一定正確嗎？
也不代表。寫出限制是報告的一部分，數字、分組、推導與建議仍要另外核對。專業語氣無法代替計算與證據。
可以把「流失是串接問題」直接拿去改策略嗎？
在真實工作中應先檢查其他因素，再設計驗證。這組合成資料呈現明顯差異，但觀察資料本身不足以確定因果。
先把一個舊結論交回原始資料檢查
下次更新季度報告時，可以挑一個最影響決策的舊看法，要求 AI 用原始資料驗證，並同時回報反例與限制。完成後再自己重算關鍵數字，才決定要不要改策略。
如果想看這個題目背後的工作方法，先讀 Felix 的目標與驗收建議，再用自己的非敏感資料做一次有紀錄的比較。
延伸閱讀：別只叫 AI 扮演專家：Felix Rieseberg 的目標、方法與驗收工作流
延伸閱讀：AI 成果驗收 Prompt：報告與試算表說做完，如何核對？
資料來源
- Felix Rieseberg：How to be more ambitious
- 本站 2026 年 11 月 13 日合成資料實驗：三組各四份輸出，Q2 與 Q3 各六百筆客戶紀錄。
