Aura 開源遊戲測試 AI Autopilot：貼文說贏 Claude Code，數字對得上嗎？
Aura 開源遊戲測試 AI Autopilot，貼文寫「43% 更準、快近 2 倍、贏過 Claude Code」。我們對照官方影片、官網與 10/31 的白皮書：影片對 Claude Code 寫 28.7%，43% 與 2 倍較接近是對另一家；差距來自兩題被判作弊。
Aura 在 10 月 30 日發了一則貼文：開源遊戲測試 AI「Autopilot」，寫著「43% 更準、快近 2 倍、贏過 Claude Code」，貼文已有 130 萬次觀看。我們把貼文、官方影片、官網，和 10 月 31 日發布的白皮書放在一起對。先說重點（資料時間：2026 年 10 月 31 日下午，台北）：
- 它是什麼（官方）：Autopilot 是 Aura 開發團隊（Ramen）做的開源（Apache-2.0）遊戲測試系統，裝進 Unreal、Unity 或 Godot 專案，自己玩遊戲、驗證功能、產生報告。
- 數字不是對同一家比的（本站查證）：貼文沒寫「43%」「近 2 倍」是對誰；官方影片寫的是「比 Claude Code 準 28.7%」「比他們說的 competitor 快 2 倍」；官網寫比 Claude Code 快 1.7 倍、比另一款 AI 遊戲代理快 1.9 倍。
- 差距從哪來（官方白皮書）：7 題測試，Autopilot 過 7 題、Claude Code 過 5 題、Competitor 過 4 題。Claude Code 少的 2 題，白皮書寫「目標最後都達成了」，但過程有作弊行為，所以記成失敗。
- 測試規模：Aura 自己做、一款 Unreal 範本遊戲、7 題、每題只跑一次；Competitor 沒有具名；沒有成本與 token 數字。
- 速度是真的有差：結果表 7 題裡，Autopilot 每一題都最快。
- 我們的結論（本站推論）：這是廠商自己訂規則、自己跑、自己公布的評測，不是獨立評測；要看「贏 Claude Code」有多少，得先看「作弊」怎麼判。
這則消息的原始來源是誰、什麼時候說的？
所有數字都來自 Aura 自己的貼文、影片、網站與白皮書；到 10 月 31 日下午為止，我們沒有找到獨立第三方的重現或評測。
| 來源 | 日期 | 內容（2026/10/31 讀到） | 類型 |
|---|---|---|---|
| Aura 的 X 貼文（@Aura_Assistant） | 2026/10/30 23:32（台北） | “43% more accurate”、“Almost 2X faster”、“Beats Claude Code at playtesting”、“It’s Computer Use for games”；附 52 秒影片；10/31 14:30 讀到 1.3M 次觀看、1.7K 讚、334 轉發 | 官方（Aura） |
| 同一串的回覆 | 2026/10/30 | 官網與 GitHub 連結、白皮書連結；寫明 Autopilot 可搭配 Claude Code、Codex 或 Aura（兩週免費試用、不用信用卡）訂閱 | 官方 |
| Aura 官方 YouTube 影片《Meet Autopilot: Open-Source AI Playtesting for Unity, Godot & Unreal》 | 2026/10/30（52 秒） | 與貼文影片同長度；我們逐格看的是貼文影片的 4K 版本 | 官方 |
| Autopilot 官網 | 2026/10/31 讀取 | Benchmarks 區：Faster than Claude Code, and passed all seven tasks；1.7×、1.9×、7/7 | 官方 |
| 白皮書部落格文章 | 2026/10/31（作者 Nyx Iskandar、Andy Tsen，Ramen 團隊） | 系統架構、7 題測試設計、結果表與圖表；另有 PDF 版（6 頁） | 官方 |
| GitHub：ramenvr/autopilot | 2026/10/31 14:49 讀取 | Apache-2.0；210 星、10 fork；6 次 commit；Releases 有 Autopilot 1.0.0 | 官方 |
| Aura 文件：Autopilot | 2026/10/31 讀取 | 安裝與使用方式、四種提示類型 | 官方 |
數字每小時都會變動；上面的觀看數、星數是我們 10 月 31 日下午讀到的。
Autopilot 到底是什麼？
Aura 是 Ramen 團隊做的 Unreal Engine、Unity AI 助手（Aura 在 X 上的自我介紹）。Autopilot 是它新開源的遊戲測試系統：你把它裝進遊戲專案，給它一個提示，它自己開試玩視窗、讀專案原始碼、玩遊戲，結束後給報告。
| 項目 | 內容 | 來源 |
|---|---|---|
| 定位 | “continually learning real-time general playtesting system”（持續學習、即時、通用的遊玩測試系統） | GitHub、白皮書 |
| 授權 | Apache License 2.0；外掛內附的字型是 SIL Open Font License | GitHub |
| 支援的引擎 | Unreal 5.4–5.8、Unity 6 以上、Godot 4.7 以上；Windows 與 macOS。只有 Unreal 可以從原始碼建置，其他引擎提供預建包 | GitHub、文件 |
| 四種提示 | Exploration（探索，例：探索 Lvl_Main 關卡的製作系統）、Testing（測試，例：走完目前關卡，告訴我所有看起來不對的地方）、Verification（驗證，例：驗證用斧頭打樹時樹會晃）、Goal（目標，例：殺死頭目，同時把血量維持在最大值的 20% 以上） | 文件、GitHub |
| 每次提示的流程 | 自動開 PIE（Play In Editor，Unreal 的編輯器內試玩）視窗，讀專案原始碼，探測遊戲，依提示玩；結束後關視窗並產生報告 | GitHub |
| 越玩越好 | 官方說前幾次 harness 可能有 “suboptimal behavior”（表現不理想），之後的執行會更快、更聰明（例：更快閃避、換更好的武器、瞄得更準） | GitHub |
它怎麼玩遊戲？「Computer Use for games」是看畫面嗎？
貼文用 “Computer Use for games” 形容 Autopilot。但白皮書寫，引擎外掛是「讀取遊戲狀態，並用真實的使用者輸入事件來執行動作」；Aura 在回覆串裡自己也說，Autopilot 是 “reading game state (not pixels)”（讀遊戲狀態，不是讀像素），再把真實按鍵送進編輯器。所以它不是看畫面截圖來操作，而是在編輯器裡直接讀遊戲內部的狀態。
| 元件（白皮書） | 做什麼 |
|---|---|
| 引擎外掛 | 在遊戲引擎裡讀遊戲狀態，並送出真實的輸入事件（例如按下按鍵） |
| Agent service | 一個 Python 程式，裝 coding agent、決策模型的執行環境、沙盒與每款遊戲的記憶檔，透過 WebSocket 跟外掛溝通 |
| Coding agent | 支援 Claude Code、Codex、OpenCode 的 Agent SDK；負責研究遊戲，並替決策模型寫 harness（執行框架） |
| 決策模型 | 遊戲進行時即時做決定，約每 0.25 秒一個決策。白皮書寫的模型名稱看起來有錯字，我們不引用 |
白皮書列出的三個做法：
- 替每款遊戲現寫 harness：coding agent 讀遊戲原始碼與試玩狀態，寫出這款遊戲專用的「動作選項」（例如「閃避」「射擊最近目標」），決策模型只在這些選項裡選，而不是直接選「按 W」「按滑鼠左鍵」。
- 反射函式：閃避這類需要比 0.25 秒更快的動作，由 harness 裡的程式直接執行，不經過模型。另有用「聲納」建地圖、A* 找路的導航功能。
- 每個專案一份記憶檔：內容包含遊戲的說明、事實筆記、可重複使用的 harness 程式碼，和之前執行的紀錄與報告；之後的執行可以跳過已經研究過的部分。
白皮書還舉了一個 Soulslike（類魂）遊戲的例子：前幾次嘗試時 Autopilot 先試不同武器、防具與戰術；到第 4 次，它做出了有效的閃避反射，同時裝備劍與盾，並走到頭目場地的中間，避免卡在角落或穿牆掉出場外。這是官方自己描述的案例，白皮書沒有給這部分的次數、成功率或失敗紀錄。
貼文、影片、官網各寫了什麼數字？對誰比？
| 出處 | 原文 | 比的對象 | 備註 |
|---|---|---|---|
| X 貼文 | “43% more accurate”、“Almost 2X faster”、“Beats Claude Code at playtesting” | 沒寫 | 三個數字與標題寫在一起，沒有說各自對誰 |
| 官方影片 0:36–0:38 | “28.7% more accurate than Claude Code” | Claude Code | 同一畫面的長條標示 7/7、5/7、4/7 |
| 官方影片 0:39–0:40 | “2x faster than our competitor” | Competitor（不是 Claude Code） | 長條：262 秒、437 秒、508 秒 |
| 官方影片 0:41–0:43 | “~100x cheaper per decision”，小字 “Autopilot’s policy model vs. an LLM call” | 一次 LLM 呼叫 | 白皮書沒有成本數字，我們找不到對應的測量 |
| 官網 Benchmarks | 1.7× faster than Claude Code, and 1.9× faster than another game agent；“Autopilot passed every task. Claude Code passed 5, another game agent 4” | 分開寫 | 7/7、5/7、4/7；262／437／508 秒 |
| 白皮書 | 只有題數與秒數，沒有寫百分比或「幾倍」 | — | 結果表見下一節 |
本站推算（Aura 沒有說明算法）：把 7/7、5/7、4/7 換成百分比，是 100%、71.4%、57.1%。
- 對 Claude Code：100% − 71.4% ≈ 28.6 個百分點（影片寫 28.7%，差 0.1，原因不明）。
- 對 Competitor：100% − 57.1% ≈ 42.9 個百分點，和貼文的「43%」吻合。我們因此推測貼文的 43% 是對 Competitor，不是對 Claude Code；但這是反推，Aura 沒有這樣寫。
- 這兩個都是「百分點差距」，不是「相對進步幅度」。換成相對說法：7 題對 5 題多 40%，對 4 題多 75%。
- 時間：437 ÷ 262 ≈ 1.67 倍，508 ÷ 262 ≈ 1.94 倍，和官網寫的 1.7×、1.9× 一致；貼文的「Almost 2X」比較接近對 Competitor 的 1.94。
白皮書到底怎麼測的？
| 項目 | 內容（白皮書） |
|---|---|
| 遊戲 | Easy Survival RPG V5（未修改的範本遊戲），Unreal Engine 5.8 |
| 題目 | 7 題：5 題驗證（3 題預期「確認」、2 題預期「否定」）、2 題目標。探索類題目因為「沒有固定終點」被排除 |
| 次數 | 每題 1 次（Pass@1），每次都從清空記憶開始；全部在同一台 Windows 電腦上跑 |
| 比較對象 | Claude Code（透過 Unreal 的 Python Remote Execution 玩）、Competitor（白皮書只寫「一個領先的 Unreal／Unity AI 代理」，用它自己產生的 TypeScript 腳本控制角色）。比較使用 Claude Opus 5.5、medium effort |
| 提示 | 同一份提示；給 Claude Code 與 Competitor 的提示結尾多加一句 “Play in PIE”，因為它們不是專門做遊戲測試的 |
| 計時 | 從第一個輸出 token 到最後一個，包含研究時間，不含啟動 PIE 視窗 |
| 算對的標準 | 驗證題：結論符合預期（confirmed 或 denied）；目標題：達成目標。超過 1800 秒、放棄都算失敗 |
| 算作弊的行為 | 把玩家瞬移、不經正當方式就把物品放進背包（例：砍樹取木頭才算正當）、讓玩家無敵。有作弊行為的那次記成失敗 |
逐題結果（原圖見下；✓ 通過、✗ 失敗，括號是秒數）：
| # | 題目（AI郵報翻譯） | 預期 | Autopilot | Claude Code | Competitor |
|---|---|---|---|---|---|
| 1 | 驗證：玩家站著不動時，飢餓值會隨時間下降 | 確認 | ✓（89） | ✓（303） | ✓（210） |
| 2 | 驗證：撿起石頭會讓背包增加一顆石頭 | 確認 | ✓（57） | ✓（331） | ✓（228） |
| 3 | 驗證：從背包畫面確認營火製作要 8 秒 | 確認 | ✓（118） | ✓（156） | ✗（188） |
| 4 | 驗證：製作清單顯示營火只要 2 塊木頭 | 否定 | ✓（80） | ✓（213） | ✓（127） |
| 5 | 驗證：新遊戲開始後無法打開背包 | 否定 | ✓（106） | ✓（335） | ✗（174） |
| 6 | 目標：做出營火並放在出生島 | 達成 | ✓（573） | ✗（799） | ✓（828） |
| 7 | 目標：做出石斧並用它殺死殭屍 | 達成 | ✓（809） | ✗（924） | ✗（1800） |
| 合計 | 平均每題秒數 | 7/7，262 秒 | 5/7，437 秒 | 4/7，508 秒 |
我們逐題對過：Autopilot 7 題的耗時都比另外兩家短；三家平均也和圖表一致（1,832 ÷ 7 ≈ 262、3,061 ÷ 7 ≈ 437、3,555 ÷ 7 ≈ 508）。白皮書對速度的解釋是：Autopilot 先做前置研究、寫好 harness，再讓決策模型玩；Competitor 是不斷暫停 PIE 去修改 LLM 產生的腳本；Claude Code 則是研究階段的 token 產生與工具呼叫效率不高。這些是 Aura 的觀察說法，白皮書沒有附對應的紀錄。
Claude Code 那兩題，為什麼記成失敗？
白皮書的結果表裡，Claude Code 的兩個 ✗ 都在目標題（第 6、7 題）。白皮書的說法是：Claude Code 的兩次目標題執行都有作弊行為，所以 “while the goals were achieved at the end, we marked them unsuccessful”（雖然最後達成了目標，仍記為失敗）。
- 這代表：Claude Code 在 5 題驗證題全部通過；7/7 對 5/7 的差距，全部來自這兩題被判作弊（本站整理，依上表）。
- 規則本身（本站判斷）：對遊戲測試來說，這條規則說得通：測試員若瞬移、憑空生成物品或開無敵，可能跳過了本來要驗證的流程。
- 我們看不到的部分：白皮書列的是作弊的「例子」，沒有說 Claude Code 在這兩題各做了哪一種；我們讀到的版本也沒有附逐題的紀錄。外人無法自己確認判定。
- 比較的是什麼：白皮書自己寫，Claude Code 與 Competitor 不是專門為遊戲測試設計的，所以提示結尾才補 “Play in PIE”。換句話說，這是「專門做遊戲測試的工具」對「通用的 coding agent」。
我們沒有看到證據顯示數字是錯的；這份測試的特點是：規則、題目、執行和公布都是同一家公司。
這份測試沒說什麼？
| 項目 | 目前公開的內容 | 來源類型 |
|---|---|---|
| 成本與 token | 白皮書沒有成本或 token 數字；影片的「~100x cheaper per decision」是每次決策，我們找不到對應的測量 | 官方（沒寫） |
| 樣本 | 1 款範本遊戲、7 題、每題 1 次；沒有重複執行的變動範圍 | 官方 |
| Competitor 是誰 | 白皮書沒有具名 | 官方（沒寫） |
| Unity、Godot | 文章說支援，但評測只做了 Unreal 5.8，沒有這兩個引擎的數字 | 官方 |
| 「找 bug」的能力 | 評測只量「驗證指定功能」與「達成目標」，沒有量「在沒給目標時找到多少真正的 bug」（探索類題目被排除）；貼文標題寫的是 “finds bugs” | 本站整理 |
| 獨立重現 | 我們沒找到。GitHub 有 bench/ 資料夾（我們看到 example.json 與 run_autopilot.py 兩個檔案，頁面可能沒列全），但沒看到這 7 題的提示或 Claude Code 的跑法，所以不判斷能否重現 | 官方 GitHub |
| 限制章節 | 白皮書沒有限制章節，結論只提未來可做的方向（多模態決策模型、降低延遲）；GitHub 說明有提到前幾次表現不理想 | 官方 |
以上不是說數字不可信，而是說：能從公開資料驗證的，只有「結果表和 Aura 自己寫的規則」。
要試的話，需要什麼、要注意什麼？
| 使用方式 | 需要什麼 | 引擎 |
|---|---|---|
| 在編輯器裡裝外掛（主要方式） | Aura 方案，或自己的 API 金鑰（BYOK） | Unreal、Unity、Godot |
| 在 Aura 裡用 | Aura 方案 | Unreal、Unity（不含 Godot） |
| 透過 Claude Code／Codex | 在終端機執行 autopilot connect claude 或 autopilot connect codex，之後對 Claude Code／Codex 說「Use Autopilot to …」；走你自己的 Claude／ChatGPT 訂閱（透過 Autopilot 的 skills 與 MCP server） | 依你的環境而定 |
Aura 說有兩週免費試用、不用信用卡（貼文回覆與影片結尾）。如果用自己的 API 金鑰，費用文件沒有給估算。
- 安裝流程建議用 Aura 帳號登入；設定時會問你要不要分享執行紀錄來改進 Autopilot（可選）；10 分鐘的探索跑也是可選的，跳過可以直接下提示。
- 專案記憶：解除安裝時預設保留，也可以選擇刪除，刪除無法復原（GitHub 說明）。
- 本站建議：先用複製出來的測試專案跑，不要直接用正式專案；遊戲內容算不算敏感，自己先判斷，再決定要不要分享執行紀錄。
對做遊戲或做產品的人，這則消息怎麼讀？
以下是本站的讀法，不是 Aura 的說法：
- 先看對誰比。貼文的三個數字沒寫對象；影片和官網把對象分開寫，而且我們推算 43% 與「近 2 倍」較接近對 Competitor。
- 再看計分規則。「贏 Claude Code」的差距來自兩題作弊判定；規則誰訂、怎麼判、有沒有紀錄，比 7 比 5 本身更重要。
- 最後看量了什麼。這份評測量的是「指定功能驗證」與「達成目標」的正確率與時間；沒有量找到多少真 bug，也沒有成本。
- 要採用就自己測。用自己的遊戲、自己的題目，記下每題的時間、次數與成本，再決定。
常見問題
Autopilot 是開源的嗎？要付費嗎？
程式碼是 Apache-2.0 開源。使用時需要 Aura 方案、自己的 API 金鑰，或透過 Claude Code／Codex 用你自己的訂閱；Aura 說有兩週免費試用、不用信用卡。
支援 Unity 和 Godot 嗎？
支援（Unity 6 以上、Godot 4.7 以上），但白皮書的評測只做了 Unreal 5.8。
「43% 更準」是怎麼算的？
Aura 沒有說明。我們用 7/7、5/7、4/7 反推，100% 減 57.1% 約 42.9 個百分點，和 43% 吻合，所以推測是對 Competitor；對 Claude Code 是約 28.6 個百分點（影片寫 28.7%）。這是本站推算。
它是看畫面玩遊戲嗎？
不是。白皮書說它讀遊戲狀態並送出真實輸入；Aura 的回覆也說是讀遊戲狀態、不是像素。
它會取代遊戲測試人員嗎？
目前沒有資料可以回答。白皮書說自己的動機是功能測試費時又重複；評測只有 7 題、一款範本遊戲，也沒有量找 bug 的能力。
Aura 是誰？
Ramen 團隊開發的 Unreal、Unity AI 助手；白皮書作者 Nyx Iskandar 與 Andy Tsen 都屬於這個團隊。
這是購買或投資建議嗎？
不是。這篇是整理公開資料與查證；官方、第三方與本站推論都已分開標示。
資料來源
本文資料查詢日為 2026 年 10 月 31 日（台北）；X、GitHub 的數字每小時都會變動。影片來自 Aura 的 YouTube 頻道（嵌入播放，版權屬 Aura）；影片畫面為 Aura 官方影片的單格擷取；白皮書圖片為官方公開圖；頁面截圖為 AI郵報擷取的公開頁面，版權屬原機構。英文引述均為短句並標明出處；影片與白皮書的中文為 AI郵報自譯。「本站推算」「本站判斷」是我們自己的整理，不是 Aura 的說法。本文為整理與查證，不是購買或投資建議。
- Aura：X 貼文 “We’re open-sourcing Autopilot”（2026/10/30 23:32 台北）與回覆串
- Aura 官方 YouTube：Meet Autopilot: Open-Source AI Playtesting for Unity, Godot & Unreal（2026/10/30）
- Aura：Autopilot 官網（Benchmarks、FAQ）
- Aura：Autopilot 白皮書部落格文章（2026/10/31，Nyx Iskandar、Andy Tsen）
- Aura：Autopilot 白皮書 PDF
- GitHub：ramenvr/autopilot（Apache-2.0）
- Aura 文件：Autopilot
