UserArena 用真實購物軌跡測 AI 模擬顧客：點得像人，為何還不夠？
UserArena 以 64,729 段購物工作階段建立 AI 使用者模擬評測，從點擊一路看到跨次偏好與結果。解析 OPTD、特定 A/B 政策效果復現，以及非商用研究資料與限制。
推薦系統換了商品排序，顧客可能多看幾頁，也可能直接離開。若 AI 模擬顧客只會點合理商品，仍不一定能幫忙判斷這次改版。UserArena 想測的是這段差距。
團隊在二〇二六年十月二十二日提交研究，整理一萬一千零一十位使用者的六萬四千七百二十九段購物工作階段，讓模擬器在可操作的離線頁面裡重現選擇。
它評量的不只是下一步按對沒有，還看整段行為、跨次偏好與最後結果。這裡的 AI 扮演顧客，和替真人比較商品、下單的購物助理是不同角色。
作者另用同一組推薦排序政策比較模擬與正式 A/B 結果，提出的 OPTD 最接近這組已觀察效果，但仍只復現約 0.713 倍，並非完全一致。
我的判斷是，這份基準適合研究模擬器在哪一層不像真人，不能直接拿來保證改版營收。公開程式與資料也限定非商用研究，企業使用需要另行取得授權。
先分清模擬顧客能看到什麼、能做什麼，才能理解為何一次點擊相似，還不足以驗證整段購物行為。
UserArena 模擬誰，怎麼重建購物環境？
基準把真實購物軌跡與重建的推薦頁、商品頁接起來，讓 AI 模擬顧客在十三類動作間選擇。它要重現人的瀏覽與取捨，不是替使用者接受一張購物清單，再主動尋找最便宜商品。
依 UserArena 原始論文，研究資料包含五十七萬七千六百七十個動作，以及五十六萬六千一百零二項商品。動作與商品是不同單位，不能相加成使用者人數。
參與軌跡來自一萬一千零一十位使用者、六萬四千七百二十九段工作階段。工作階段指一次連續購物過程，可能包含多次點擊、回上一頁與離開，所以段數多於人數，不表示每段都屬不同顧客。
環境用去識別化軌跡重建推薦列表與商品詳情頁，再讓模擬器看到頁面截圖並操作。這些截圖由離線頁面產生，並非直接保存真人當時螢幕的照片，兩者對資料來源的意義不同。
十三類動作讓模型有機會往下瀏覽、選擇商品或結束，六種屬性則幫助描述使用者。它不只要看起來像一個會購物的通用人物，還要符合不同人的行為差異。
工作階段之間的連結也有意義。同一人這次看了某類商品，之後是否仍保持相近偏好，比一次模擬選中合理商品更難。若把每次造訪都當成全新人物，跨次研究就會失去要測的連續性。
跨次購物另有子集合：五萬九千三百七十八段、五千七百六十八人，平均每人約十點二九段。這才是檢查同一個人多次行為的範圍，不能把全部人都當成擁有同樣長度歷史。
一個動作能被頁面執行，只是最低門檻，還需要檢查選擇與真人有多接近。
五層評量如何從下一步走到跨次購物？
評測依序檢查輸出可執行、當下選擇、整段行為、群體個人差異與最後結果，使用回放和自由執行兩種模式。這樣才能看見只會模仿一個點擊、卻在整段購物偏離真人的情況。
回放模式把模型放在真人曾經看到的狀態，問它下一步會怎麼做。因為每個方法面對相同起點，這比較容易核對當下動作。但它不會讓先前錯誤一路累積到後面。
自由執行則讓模型依自己的選擇繼續操作。它可能比真人多看一頁、過早結束，或進入另一件商品，因此能檢查整段路徑，也較容易暴露只學會局部模仿的限制。
最低一層確認輸出是否是環境接受的動作。之後才看動作類別與目標是否接近真人，再比較整段行為分布、停留長度與終止方式，不能把能按下去就當成模擬成功。
更高層會把人按特徵分組，檢查不同群體及跨次偏好是否保留下來。若每個模擬顧客最後都像同一個平均人物，總點擊率也許接近，個人差異卻可能已被洗掉。
結果層還會核對點擊率與加入購物車等指標的差距。這些是行為結果，不同於前面的動作分類分數，因此一個方法可能很會選下一步，卻仍讓整段結束得太早。
假設模型每一步都偏好多點一下，單次差異看起來很小，累積後卻會產生過長的購物路徑。把回放和自由執行放在一起，才能找出誤差是在當下選擇，還是在長程累積。
單步與長程結果可能不同，訓練也需要讓模型看見自己產生的行為脈絡。
OPTD 如何教模擬器，又避免直接餵未來答案？
教師以整段軌跡抽出的抽象意圖指導學生自行產生的回應，但學生不直接拿到該意圖或之後頁面。這個方法稱 OPTD，目的是讓模型學到選擇背後的方向，同時避免把真人答案原封不動交給它。
這裡的蒸餾，是用較有資訊的教師模型，教另一個模型學會相應行為。教師看見較完整的訓練軌跡，可以推論這次大致想逛什麼、在意什麼，再把抽象意圖用作指導條件。
抽象意圖刻意排除具體動作、商品識別碼、價格、結果與未來頁面。否則教師可能只是把真人最後選了哪個商品透露給學生，得到的高分就不再代表能從當下可見資訊模擬選擇。
學生在真實狀態下產生自己的回應，訓練再利用教師的指導修正。這項訓練以真實狀態的單步回應為單位，和從頭自由跑完整段不同。推論時，學生仍依眼前可見資訊選擇。
教師保持固定，學生一面比對教師對自己回應逐個生成單位提供的指導，一面用真人紀錄中的回應校正。前者傳遞整段購物意圖，後者把學習拉回當下狀態的真實行為，兩部分共同更新學生參數。
但完整軌跡提供的意圖也可能太強，讓教師對結果過度確定。方法因此把有意圖與沒有意圖的教師指導做插值，並以可信範圍限制改變，避免學生被推離當下資訊可以支持的選擇。
這一層限制也讓評測更有意義。若學生只靠看過後續答案就得高分，部署到沒有未來資料的新政策時，表現可能立刻失效。研究要保留的是能在資訊不完整下做選擇的能力。
這些訓練限制說明模型能從哪裡學習，固定相同模型後，才能看訓練方式是否改善前述各層行為。
同一個小模型，哪些品質改善、哪些仍落後？
主比較固定 Qwen3.5-2B，OPTD 在單次工作階段的八項行為指標領先，跨次情境則沒有每項都最好。固定同一模型，有助於把差別對到訓練方式，而非把大模型優勢混進方法效果。
八項行為指標涵蓋前述局部選擇、整段分布、個人化與結果。它們各有自己的計算方式，並不是八次相同成功率測試，也不能把一項分類分數和點擊率誤差直接相加。
跨次情境中，OPTD 有五項第一、兩項第二，另有方法在動作相似與點擊率指標更好。這表示讓單次模擬接近真人，不會自動解決跨多次購物的偏好維持。
有效動作率也不能被併入「全部指標最好」的說法。格式符合環境要求與行為忠實度是不同層次，模型可以每次都送出合法動作，仍在商品選擇、停止時機或群體差異上失真。
因此，應按研究目的選擇指標。若只想研究下一步互動，回放中的動作差異比較直接。若要測推薦政策如何影響整段行為，就必須保留自由執行與結果層，不能只挑最漂亮的一欄。
群體平均還可能掩蓋互相抵銷的誤差。某些使用者被模擬得太愛點，另一些太快離開，合在一起仍能接近整體點擊率。個人化與行為分布指標的作用，就是把這類失真從平均值裡拆出來。
這也說明為何作者沒有停在離線分數。評測更像真人，下一個問題是它能否重現一項真正上線過的政策變動。
0.713 倍 A/B 效果，是營收增加了多少嗎？
該比值比較模擬與正式環境的點擊率差異，不是銷售成長率，也只對應固定的一組推薦排序政策。A/B 測試把兩組人分別放在不同政策下，再比較差異，關鍵是政策改變帶來多少增減。
作者把模擬器固定後，讓一萬名模擬使用者分到兩個政策條件，商品目錄保持一致，再和同一組政策的正式結果比較。這能降低邊測邊調模型、剛好追著目標數字走的問題。
0.713 的意思，是模擬得到的每次瀏覽點擊率變化，約為正式變化的七成一。距離完全復現仍有 0.287 的比值誤差，所以「最接近」和「一致」不能互相替代。
例如正式差異若是一個單位，這項比值表示模擬差異約為零點七一三個單位。它沒有告訴讀者那一個單位原本多大，更不能把它讀成營收成長百分之七十一點三。
同一比較裡，Sol 與 Luna 的比值為 1.576 和 2.154，呈現高估效果的方向。這些名稱所代表的方法在此特定驗證中表現不同，仍不足以推成所有購物政策、所有人群的普遍排名。
模擬能否用於決策，還要看新政策是否超出原資料的行為範圍。換成完全不同的商品、頁面或促銷方式，可能讓原來接近的選擇規則失效，需要重新和真實結果對照。
這種驗證提供離線研究方向，但公開資料的範圍與權利會限制實際使用方式。
研究者能取得什麼，商業導入前還缺什麼？
程式庫提供環境、評分與蒸餾方法，公開測試集合列五百三十五段，並以非商用研究及資料協議限制使用。研究整理的六萬多段軌跡，不能直接當成全部已公開可自由使用的資料量。
截至二〇二六年十月二十七日，官方程式庫列出的條款要求商業使用先取得書面許可，也禁止重新識別或連結外部個人資料。資料去識別化不會取消使用者需要遵守的條件。
對企業而言，這表示公開程式與論文可以支持方法研究，卻不是一套拿到就能接進正式推薦系統的商用套件。權利範圍、目標人群是否一致，以及新政策能否被環境表達，都需要先成立。
我會把這份基準用在找出模擬器在哪一層失真：是局部點擊、跨次偏好，還是政策效果。每一層有對應的驗證問題，比只要求一個更像人的總分，更能決定下一步該改什麼。
先確認授權與目標人群，再用新的政策和真實結果重驗，才能判斷模擬能替自己的研究省下哪一段工作。
延伸閱讀：Grok Bot Sylvia Style 教學：從尺寸、風格與預算整理穿搭購物清單
延伸閱讀：AgentVQA 用一千題測視覺代理：最高 58.5%，為什麼會推理仍可能按錯按鈕？
常見問題
UserArena 的 AI 是購物助理嗎？
它扮演被研究的模擬顧客，目的是重現瀏覽與取捨，和替真人選品或下單的助理不同。
UserArena 已開放全部六萬多段資料商用嗎？
官方公開測試集合列五百三十五段，使用受非商用研究條款與資料協議限制，商業用途需先取得書面許可。
