SpireClimb 用殺戮尖塔測 AI：簡單難度九成勝率，為什麼還沒追上高手？

SpireClimb 讓 AI 透過螢幕、滑鼠與鍵盤玩《殺戮尖塔》，測試它能否長時間做連續決策。

Epoch AI 新報告顯示，前沿模型在一代最低難度已能拿到九成以上勝率，最高難度則仍低得多。

看起來相近的勝率，其實可能來自不同遊戲、難度與角色，因此不能只取一個最高數字比較。

研究也把二代遊戲版本固定，避免遊戲更新與模型進步混在一起。

對追蹤 AI 代理的人，這個基準的價值是讓操作、策略與長任務一起受測，但它仍不是一般工作能力的直接分數。

要看懂九成與兩成之間的距離，先從測試目標說起。

SpireClimb 用什麼方式讓 AI 玩遊戲？

模型透過一般視覺操作介面做決策，並可記筆記與查限定百科。

《殺戮尖塔》是一邊戰鬥、一邊選牌與安排路線的遊戲。這一步拿到的好處，可能讓後面更難生存，所以測試不只看模型會不會按按鈕。

假設一張牌能解決眼前敵人，卻讓整副牌更不容易配合，代理需要把現在與後面的需求一起想。長任務的難度，就是這些小選擇會不斷累積。

Epoch AI 方法頁說明，模型看遊戲截圖，透過滑鼠與鍵盤操作，也能保留筆記，並查詢限定的遊戲百科。

筆記相當於替長對話留下工作記錄。當先前畫面已經不在模型眼前，它仍可以讀回重要決策，但前提是筆記真的記下了會影響後續的條件。

假設代理只記「這張牌很好」，卻沒記為什麼選它，之後遇到不同敵人便可能沿用錯誤判斷。能保存文字，不代表已保存可用的策略。

限定百科則讓測試更接近在有資料可查時做選擇。知道牌的效果，可以減少背誦差異，但還是得判斷什麼時候使用，以及與其他牌如何配合。

操作錯誤也是結果的一部分

如果模型知道正確選項，卻點到旁邊的按鈕，遊戲仍會繼續走向另一個狀態。這種測法把理解畫面、選擇動作與實際操作放在同一條流程。

因此，勝率不能只解讀成純粹推理能力。它也包含介面使用的影響，與直接把整理好的遊戲狀態交給模型，測的是不同組合。

不能把介面失誤當成與能力無關的雜訊，因為這正是視覺操作測試要觀察的部分。若目標是讓一般使用者直接交付任務，按錯位置同樣會改變結果。

讀者看示範時，可以留意模型是否能發現畫面已改變，再調整行動。若仍照舊計畫一直點，早期的操作失誤便可能擴大成整場失敗。

介面相同之外，難度也要固定才能比較結果。

最低難度與最高難度的勝率為什麼不能混？

高難度會增加連續決策壓力，因此九成與兩成回答的是不同問題。

九成以上指一代的最低難度 Ascension 0，兩成則指一代最高難度 Ascension 20 加上擊敗 Heart 的結果。後者不只是把同一條流程再跑快一點。

Ascension 可以理解成逐步增加限制的難度層級，Heart 則是額外的最終頭目。兩種條件改變了生存與準備的要求，不能把數字放在同一欄排名。

研究報告把這些範圍分開。想知道模型跨過哪道門檻，應先看它在哪種條件下完成遊戲。

假設代理在容易的戰鬥中犯了一次小錯，仍可能靠剩餘資源補回。當限制增加，同樣的錯誤就可能讓後面的關卡失去足夠空間。

因此，最低難度接近穩定完成，與最高難度仍常失敗可以同時成立。前者顯示基本流程進步，後者則讓更細的策略差異繼續顯現。

二代又是另一個任務。它的最高難度採 Ascension 10，測試版本沒有一代 Heart 的同等關卡，所以不能只因都叫最高難度就當成一樣難。

先分開結果，再看能力是否延伸

如果一個模型在二代表現較好，可能涉及遊戲設計與任務要求，不能立即說它更會處理新環境。需要先排除測試本身較容易的影響。

反過來說，二代較新，仍可提供不同於老遊戲的觀察角度。模型是否能把一般策略帶到較不熟悉的內容，是值得追蹤的問題。

這裡的分析不是推定模型訓練過哪些遊戲。公開結果沒有讓我們看到完整訓練資料，因此只能在明確條件內比較，不宜替成績編出單一原因。

讀者最簡單的讀法，是替每個勝率寫上遊戲、難度與完成目標。少一項，就可能把原本有意義的差距，變成一句過度簡化的領先宣傳。

角色與隨機條件也會影響這段差距。

固定種子、角色與遊戲版本如何幫助公平比較？

相同起始條件能減少運氣與更新帶來的干擾。

隨機種子是決定一連串隨機結果的起點。使用相同種子，能讓不同模型從可對照的條件開始，而不是一個遇到順風局，另一個一路受阻。

這不代表每個模型後來一定看到相同局面。因為選牌、路線與操作不同，過程仍會分岔，差異正是決策造成的結果。

假設兩個代理從同一條路線開始，第一個保留資源，第二個提早消耗。後面即使遇到相同挑戰，也可能只剩一個能應付，這便是可解釋的差距。

角色也要固定比較。某個角色表現較好，可能讓平均值上升，但不代表模型已經掌握其他角色，所以整體成績之外還需要分組結果。

官方最高難度設計為一代四角色、二代五角色，每角色十五次。這讓讀者知道每個分組的樣本有限，小幅勝負變動不宜寫成穩定的策略結論。

固定版本，保留比較的同一把尺

二代固定在 v0.107.1，目的是讓之後的模型仍面對同一份內容。否則遊戲更新與模型更新同時發生，便很難知道哪一邊造成成績改變。

但固定也有代價。一般玩家後來玩的版本可能已經不同，攻略與角色平衡也可能變動，舊版基準便不能直接代表最新版本的表現。

因此，長期追蹤要區分兩個問題：模型是否在固定測試上進步，以及它能不能跟上持續更新的真實環境。這兩者需要不同的測試安排。

若團隊想重做相似評估，可以保存遊戲版本、種子、角色與操作限制。光存一份模型名稱，下一次即使重跑，也可能不是同一場比較。

這種保存不只是方便研究者。它讓外部讀者有機會理解成績，知道一次提升來自更多成功決策，還是測試條件已經悄悄改變。

比較條件控制好後，才能解讀與高手的距離。

AI 的策略能力與人類基準該怎麼看？

高手資料提供長期參考，但不同版本與遊玩條件仍要對照。

研究引用高手的長期遊玩資料，讓勝率有日常經驗可以對照。但這些玩家並不是被安排進同一組、同樣時間與資源的受控實驗。

因此，高手成績適合作為能力距離的參考，不能直接當成模型與人類的一對一正式勝負。角色、版本與資料選擇都可能影響比較。

假設只拿某位玩家最精彩的一段連勝，會低估平常失敗的機會。模型若只選成功影片，也有相同問題，兩邊都需要完整樣本才容易判斷。

長期高勝率仍有重要意義。它表示玩家不是偶然通關，而是能在不同局面反覆做出合適選擇，這正是單次示範難以證明的可靠性。

解釋聽起來合理，還要看後續是否一致

模型可能對當前選牌說出流暢理由，後面卻忘記原本的策略。這種情況顯示文字解釋與整場行動沒有連起來，不能只靠說明判斷理解。

如果想分析一場失敗，可以回看資源如何逐步改變。早期多付出的代價，是否影響後面選擇，比最後一句失敗原因更接近可改進的問題。

也要分清不知道資料與沒有用好資料。百科已提供牌的效果，但代理仍選錯，便不能把問題全部歸因於知識不足，需要看當下判斷。

介面誤操作則應另外記錄，因為它需要改善畫面辨識與確認。把所有失敗都叫策略差，反而會讓改進方向失去準確性。

這些分析是讀取長任務結果的方法，並非我們重新實測的結論。官方報告提供起點，後續仍需要逐場記錄才能指出特定模型的原因。

當勝率與失敗類型一起公開，讀者才看得到進步的內容。總數字說明完成多少，過程則幫助理解為什麼還不能穩定完成更多。

可以再觀察代理遇到意外時，是否重新檢查自己的目標。例如原本預計的資源拿不到，它應說明替代策略，而不是把舊計畫原封不動往下執行。

這種紀錄能把偶然失利與反覆出現的弱點分開。若相同決策問題在多次遊玩重現，改善策略或記憶安排就比單純增加嘗試次數更有依據。

遊戲進步能否移到工作，還要靠對應任務驗證。

這對長時間代理評測有什麼啟發？

長任務需要同時記錄完成結果、錯誤累積與停止判斷。

假設把這種思路移到整理一份長文件，代理同樣要看資料、記住先前決定，再連續操作。中途忽略一個條件，也可能讓最後交付偏離目標。

但遊戲通關不會自動證明文件整理正確。每個工作都要有自己的完成條件，例如數字是否對回來源、檔案是否保存，以及使用者是否能接著用。

可以借用的是評測設計。先固定輸入與工具，再記錄完整過程，最後看結果是否達成，而不是只擷取一段看起來聰明的對話。

長任務還需要知道何時停下。假設資料不足，持續嘗試未必更好；能指出缺少哪個條件，有時比生成更多內容更接近負責任的完成方式。

遊戲裡的重試也不能無限當作免費資源。若一次成功需要很多場失敗，評估時就要把總次數與時間一起算，才能看出實際成本。

用完整紀錄，觀察進步是否穩定

如果團隊要比較兩版代理，可以先保留一組固定任務，再安排另一組新任務。前者讓更新容易對照，後者則觀察是否只熟悉原本的測試。

這是一般評估建議，不是 SpireClimb 已替所有工作提供的功能。它的價值在於展示，長時間行動可以有清楚條件與可重複的結果。

未來若最高難度也逐漸容易通過，基準仍能留下進步的時間線，但就需要新的挑戰來區分能力。單一任務不會永遠代表所有代理的上限。

對一般讀者而言，下一次看到代理通關短片，可以先找遊戲版本與難度，再看是否有完整次數。這兩項通常比影片剪得多精彩更能改變判斷。

對實際採用工具的團隊，則應把同樣要求帶回自己的工作。先讓一次結果能回查，再談擴大使用，才能知道省下的時間是否來自穩定完成。

持續追蹤同條件結果，會比單次精彩通關更能顯示進步。

SpireClimb 常見問題

SpireClimb 九成勝率代表最高難度嗎？

九成以上是一代最低難度 A0 的結果，不能替代 A20 Heart 的成績。

二代的最高難度和一代相同嗎？

兩代的關卡與完成目標不同，應各自比較，不能只看難度名稱。

固定版本為什麼仍有價值？

它讓不同時期的模型面對同一份內容，但也會逐漸偏離一般玩家使用的新版。

通關能證明代理適合所有工作嗎？

通關只支持該測試下的能力，實際工作仍需自己的資料與驗收條件。

看完整條件，再追蹤同一項能力

SpireClimb 值得看的，是模型能否在固定限制下穩定做完長任務。保留難度、版本與失敗紀錄，才能把精彩示範變成有意義的進步證據。

想持續看 AI 代理研究與實際用途，可以免費訂閱 AI 郵報，並從有完整測試條件的結果開始追蹤。

延伸閱讀：Reason Agent 1.1 比較 Codex：同一模型，為何寫程式的成本仍會不同？

延伸閱讀：NVIDIA 研究用「關鍵修正」挑模型：還不會完整解題，也能看見程式潛力

資料來源

• Epoch AI SpireClimb 方法頁。
• Epoch AI 完整發布報告。