Google ARTEMIS 開源：用自然語言操作 Android，手機自動化測試怎麼做？
Google ARTEMIS 把 Android 真機操作、畫面定位與診斷紀錄接進 AI 程式助理。本文解釋 Flash 與 Pro 模式、MCP 整合、AndroidWorld 99% 以上成績的範圍，以及團隊導入手機測試前應驗證的條件。
Google ARTEMIS 讓 AI 根據自然語言操作 Android 手機，把測試指令變成點擊、輸入與跨應用程式工作。對需要反覆驗證登入、搜尋與資料填寫的團隊，這比單次展示更接近每天會遇到的工作。
傳統手機自動化常要先寫好畫面元素的定位方式，但介面一改，原本的腳本就可能找不到按鈕。因此，能不能讀懂目前畫面，再依實際狀況決定操作，成了 AI 測試工具的重要能力。
這個 Google 開源專案把操作、規劃與診斷放在同一套流程，還能接入程式助理。因為助理可以同時讀程式碼與收集手機紀錄，發現問題後就有機會把操作結果和程式原因接起來。
官方報告在 AndroidWorld 基準達到 99% 以上完成率，但那是特定測試條件的結果。它不能直接代表所有手機、所有真實應用程式都會得到相同成功率，本站也沒有重跑這項評測。
這項工具適合有測試機和清楚驗收條件的 Android 開發與測試團隊評估。開始前應先弄懂手機如何連上系統，再選擇執行速度與檢查深度。
Google ARTEMIS 如何操作 Android？把指令接上真機
Google ARTEMIS 的工作入口是自然語言，但背後仍需要設備連線與操作工具。它可以連接開啟 USB 偵錯的 Android 真機或模擬器，因此使用者描述要完成的事，系統再取得畫面並執行行動。
USB 偵錯是讓電腦透過開發工具與手機溝通的模式，常見工具 ADB 可以安裝應用程式、讀取紀錄或執行裝置命令。因為這類能力會影響手機，測試設備和日常使用的私人手機應分開安排。
依 ARTEMIS 官方程式庫，ARTEMIS 支援跨應用程式工作，例如在地圖中安排路線後，再開啟其他服務。這表示代理可以維持跨畫面的任務脈絡，而不只完成單一按鈕點擊。
但跨應用程式也會增加不確定性，因為每個服務都有自己的介面、載入時間與登入狀態。若其中一步停在權限提示或廣告頁，後面的操作就可能失去原本前提，所以任務描述需要包含可檢查的終點。
例如「確認搜尋結果顯示指定內容」比「幫我測一下搜尋」更容易驗收。前者能把畫面證據和目標對起來，後者則可能讓代理完成幾次點擊後就自行判定已測完。
這項差異也決定導入方式，先把人類原本如何確認成功寫清楚，才能評估代理是否真的減少測試工作，而不只是把操作換成另一種輸入介面。
畫面定位怎麼做？元素資訊與視覺判斷互相補位
手機代理首先需要知道自己在看哪個畫面，因此定位能力直接影響後續行動。ARTEMIS 在可用時優先使用元素索引，遇到特殊介面則可以退回座標與視覺定位，減少完全依賴單一方法的問題。
元素索引可以理解成畫面上可操作物件的編號。當系統知道某個項目是按鈕或輸入欄位，就能用結構資訊鎖定它，通常比只猜畫面中的位置更有依據。
但遊戲、自製控制項或特殊繪圖畫面，未必提供完整的元素結構，因此仍需要看像素和座標。這種補位可以擴大可操作範圍，卻也讓畫面縮放、遮擋和動畫成為需要測試的變因。
這也解釋為何手機自動化不能只看模型有沒有看圖能力。系統必須把畫面資訊轉成正確目標，執行後再確認狀態改變，才構成一個可以持續工作的迴圈。
MCP 整合對程式助理有什麼幫助？
MCP 是讓 AI 助理透過共同介面呼叫外部工具的協定，可以把手機操作能力接進開發環境。對程式助理而言，手機便成為它能操作和收集證據的工具，而不只是使用者描述中的一個裝置。
ARTEMIS 專案說明提到 Antigravity、Claude Code、Codex 等程式助理的整合方式，並可收集截圖與 Logcat。Logcat 是 Android 的系統與應用程式紀錄，能幫工程師把畫面失敗和背後錯誤訊息連起來。
例如畫面一直停在讀取中，截圖只能證明使用者看到什麼，紀錄則可能提供網路請求失敗或程式例外的線索。因為兩者回答不同問題，同時保存才比較容易縮小除錯範圍。
不過擁有紀錄不代表已經找到原因。團隊仍要比對時間、操作與錯誤位置，避免把剛好同時出現的警告，直接寫成導致失敗的主因。
Flash 與 Pro 怎麼選？速度和檢查深度要配合任務
ARTEMIS 提供較快的 Flash 和較完整的 Pro 工作方式，主要差異在規劃與驗證流程。簡單、可重複的操作可以先看快速模式，長時間或容易出錯的測試則需要更完整的紀錄與檢查。
官方把 Flash 描述成看畫面後立即行動的反應迴圈，通常每一步約 3 至 5 秒。這是專案提供的典型時間，實際速度仍會受到模型、網路、裝置與應用程式反應影響。
它的好處是流程較輕，適合例行且確定性高的介面任務。但官方也列出限制，包括沒有完整任務計畫、沒有執行前安全檢查，以及沒有最後報告，所以不能只因為速度快就套用所有情境。
Pro 則有規劃者、操作執行與檢查角色，會維持任務計畫，並在操作前檢查目標。官方列出的典型步驟時間較長，約 15 至 40 秒，因為流程需要處理更多確認與紀錄。
如果操作被擋下或失敗，事件會留在執行脈絡裡，讓操作角色嘗試恢復。這對長流程有幫助，因為失敗不再只是最後才回頭看的訊息，而是後續行動需要處理的狀態。
不過增加檢查同樣不能保證所有操作正確。對團隊而言，應先確認各模式的預設值和實際產物，再決定哪一種能提供足夠證據，避免把模式名稱當成驗收標準。
99% 以上代表什麼？先看 AndroidWorld 範圍
官方高完成率最能說明的，是 ARTEMIS 在其報告的 AndroidWorld 條件下有競爭力。評測本身提供共同任務與環境，讓研究者可以比較方法，但真實產品仍有額外變數。
依專案介紹，AndroidWorld 原始程式庫 涵蓋多個應用程式及多步驟任務。ARTEMIS README 描述超過二十個應用程式、一百多個任務，並報告 99% 以上的完成率。
這個數字是作者報告，不能自動延伸成所有品牌手機上的成功率。因為真實應用程式可能有不同版本、語言、登入方式與權限設定，團隊還需要用自己的環境重建可比較的測試。
完成率也只是一種觀察角度。即使最後達成目標，中途若花了大量步驟、反覆輸入或留下多餘資料，實際價值仍可能不同，因此應把步驟數、耗時和副作用一起記錄。
對手機測試來說，可重現性尤其重要。若每次起始畫面不同，就難以分辨失敗來自工具、模型，還是測試前提改變，所以每次執行前應確認相同資料、帳號狀態與裝置條件。
這也讓高分成為試用理由，而不是免驗收理由。工具在共同基準做得好，能支持進一步研究，但只有自己的任務證據，才能回答它能否取代原本某一段人工操作。
導入手機測試前，怎麼設計一個有用的試跑？
第一輪試跑應只選一條有清楚成功畫面的流程，因為目標愈明確，愈容易知道代理在哪一步偏離。可先從不涉及付款或重要帳號設定的測試功能開始，保留人工操作當作對照。
執行前先保存起始狀態，包含裝置版本、應用程式版本、語言與測試資料。若使用模擬器，可以利用可回復的狀態減少環境差異，讓每次比較更接近同一個問題。
過程中則應保存操作紀錄與關鍵截圖，最後再比對任務目標。因為代理有可能在正確路徑上做了多餘操作，只看最後畫面，會漏掉中途對其他資料造成的影響。
如果測試失敗，應先把原因分成畫面定位、工具執行、環境狀態和目標判斷。這樣才能知道該改提示、補驗證，還是修應用程式本身，避免每次都只要求模型「再試一次」。
資料會不會離開手機？
資料流要看整條工作路徑，不能只看手機端某個元件。ARTEMIS 的裝置輔助服務在本機處理介面資訊，並不表示後續使用的模型一定也在手機本機運算。
官方仍把輕量裝置端視覺語言模型列為後續方向，因此使用雲端模型時，畫面與任務內容可能依設定送到模型服務。視覺語言模型就是能同時處理圖片與文字的模型，部署位置會影響資料流向。
因此，團隊應先畫清楚手機、執行電腦與模型服務之間的傳輸，再決定哪些測試資料可以使用。若測試涉及個人資訊，應用測試資料替代，並確認截圖與紀錄的保存方式。
除了資料，還要看工具權限。能夠操作手機和讀取紀錄的助理，需要受到測試範圍限制，所以測試帳號、裝置與正式營運環境分開，會更容易追查和回復變更。
測試帳號也應有固定的初始資料，因為代理先前留下的狀態可能影響下一次結果。例如上一輪已經完成設定，下一輪看起來成功，卻可能只是讀到了既有成果，沒有真正走完想測的流程。
對跨應用程式工作，還應記錄每個切換點的畫面與狀態。若任務中斷，就能知道最後一次可靠證據在哪裡，從那裡判斷是否重跑，而不必只依代理的文字摘要推測整段過程。
成本比較也應以完整流程為單位，包含規劃、操作、檢查與失敗後恢復。若快速模式需要人工補查許多畫面，節省的執行時間可能會轉成人的工作，因此應一起觀察總耗時和可用證據。
團隊可以讓工程師先盲看紀錄，判斷是否足以重現問題。若離開原操作者就無法理解測試做了什麼，報告仍需要更清楚的步驟與證據，這也是評估自動化能否交接的一部分。
Google ARTEMIS 常見問題
一定要買新的 Android 手機嗎？
官方支援已連線的 Android 真機或模擬器，重點在於開發連線與工具能正常工作，是否符合需求仍要看測試的裝置功能。
它能測 iPhone 嗎？
這個專案的公開範圍是 Android 自動化，因此不能把同一套設備操作能力直接推定適用 iPhone。
可以完全不看過程，只收報告嗎？
報告可以協助整理結果，但重要流程仍應檢查畫面與紀錄，因為代理自己判定成功，不等於人類驗收已經通過。
開源是否代表使用模型完全免費？
程式碼開源和模型運算費用是不同事情，若透過外部模型服務執行，仍要依該服務與自己的使用量計算成本。
結語：把真機操作變成可以回查的測試流程
Google ARTEMIS 的實用方向，是讓程式助理接觸到手機實際畫面與診斷證據。因為它把自然語言、裝置操作和紀錄接起來，開發團隊有機會減少反覆點擊，再把時間放在判斷問題和修正程式。
適合先評估的，是已經有測試環境、知道成功條件，也願意保存執行證據的 Android 團隊。從一條小流程開始，比直接交付整部私人手機，更容易看出這套工具是否真的改善工作。
想繼續理解代理為何需要可驗收的工作流程，以及任務身分與權限如何分開，可以接著閱讀以下內容，再回到官方程式庫追蹤支援範圍。
延伸閱讀：Harness Learning 是什麼？AI 不改模型參數，也能從執行回饋改善工作流程
延伸閱讀：Self Agent Vault 上線：讓 AI 代登入與付款，如何把真實帳密留在模型之外？
