PhoneUse 雲端手機:AI 能操作哪些 Android,iPhone 展示與 API 差在哪?
PhoneUse 在 X 展示讓 AI 操作手機,引起關注。本文依官方文件分清雲端 Android、真實 Android 與另行預約的機械手 iPhone,解釋 MCP 裝置能力、操作收據、重試、截圖保存與費用,幫助團隊判斷適合先測哪些行動流程。
AI 可以開瀏覽器,但遇到只在手機 App 裡提供的功能,工作仍可能停下來。
因為不少服務沒有開放完整程式介面,代理若要接著做事,就需要能看見和操作手機的入口。
PhoneUse 在十月二十一日的 X 貼文中,把雲端手機、Android 與 iPhone 放進同一個願景,吸引大量關注。
API 是供程式呼叫服務的介面。但看官方文件,能直接透過它、MCP 或命令列操作的裝置,和影片展示的機械手 iPhone,有不同可用條件。
我認為有行動 App 測試需求的團隊,可以先從文件已支援的 Android 小任務驗證。若目標是 iPhone,應先向團隊確認服務安排,再評估整合。
要知道能做什麼,先把展示中的硬體,和程式目前實際可達的裝置分開看。
PhoneUse 是什麼,AI 如何透過工具操作手機?
這項服務把裝置觀察與操作包成工具,讓代理可以讀畫面、點擊、輸入文字,再確認結果。
依官方文件,它是一個控制平台,讓相同工具介面能接到模擬器、雲端 Android 與真實 Android。模型負責決定動作,平台負責把請求送到裝置。
這和手機上內建一個聊天機器人不同。代理需要先取得裝置清單,查看各台支援能力,再按觀察結果執行工作。
MCP 是讓 AI 客戶端取得外部工具的共同介面,API 則是供程式呼叫服務的入口。平台提供這些方式,方便不同代理或既有系統接入。
但工具存在,不代表代理每次都能正確理解 App。畫面裡的相似按鈕、登入提示與臨時通知,仍可能改變路徑,所以流程需要持續觀察。
官方把裝置能力放在每台裝置的描述裡。例如是否能截圖、能否讀取介面元素、文字輸入方式,以及可使用哪些按鍵,都可以先查詢。
這對整合很重要。某台設備能直接把文字放進輸入欄,另一台可能必須逐鍵輸入,若忽略差異,會影響速度與可行性。
同樣地,能開啟 App 也有不同機制。有的裝置可以透過系統直接啟動,有的必須在畫面找到圖示,代理應按該台能力規劃,而非假設所有手機一致。
對新手而言,最實際的理解是:這項服務提供代理的手和眼睛,但任務能否完成,仍取決於裝置、模型和 App 當下狀態。
安裝 App 的方式,為什麼也要先看裝置能力?
官方文件把 App 安裝列為每台設備的能力,目前雲端裝置透過控制台管理的商店安裝,不接受任意套件檔或網址。這會直接影響團隊能否測自己的應用。
因此,若需求是驗證尚未公開發布的 App,應先確認服務是否提供適合的路徑,再購買裝置。只看到可以操作 Android,還不能推成能上傳任何內部建置。
文件也提醒,舊資料可能仍出現已停用的安裝能力名稱。整合時應讀取當前裝置回傳值,避免沿用舊範例,讓代理反覆呼叫已不存在的功能。
對需要多個國家商店版本的測試,裝置地區和安裝來源要一起看。相同名稱的 App,在不同地區可能提供不同內容,測試結果應保留當時條件。
這讓手機工具的選擇更接近測試環境選擇。團隊需要的未必是規格最高的手機,而是一台能取得目標 App、提供必要觀察,且能重現工作條件的設備。
把這些條件先寫進試點紀錄,之後換裝置時就知道哪些差異可能影響結果。相同工具呼叫能跨設備使用,不代表每台設備擁有完全相同的 App 與能力。
因此,開始前先讀裝置能力,比先寫一長串自動化指令更有用。這也讓人看得懂,為什麼官網裡不同類型手機不能視為相同服務。

Android、雲端手機與機械手 iPhone,現在可用範圍有何不同?
官方文件列出的直接工具支援以 Android 為主,機械手加 iPhone 則需另行預約,沒有接入同一套 API、MCP 或命令列。
這項差別寫在裝置層級文件與能力說明。目前可達裝置使用軟體輸入,包括 Android 模擬器、真實 Android 與由供應商介面操作的雲端 Android。
官網宣傳的機械手會以實體觸控筆操作 iPhone,但文件明確指出,它只透過團隊預約銷售,不在目前工具介面中,也沒有對應連接器。
因此,看到 iPhone 影片後,不能直接期待貼一段 MCP 設定就取得相同能力。展示可以說明產品方向,實際整合仍要以可用文件和服務安排為準。
文件也列出硬體輸入裝置等未啟用類型。名稱出現在資料結構裡,代表系統預留這個分類,並不表示使用者今天就能購買或呼叫。
雲端 Android 也有自己的限制。官方說明,它可提供截圖與即時畫面,但沒有介面元素樹,因此代理要依圖片判斷,不能使用那台裝置沒有的結構化觀察工具。
介面元素樹可以理解為畫面按鈕和欄位的文字清單。取得這份清單時,代理可能按名稱找元素;沒有時,則更依賴視覺位置與截圖。
裝置地區也會影響工作。雲端手機所在國家決定服務看到的地區,官方把地區選擇和裝置型號綁在購買流程,庫存則依型號與地區分開。
這表示需要某國服務的測試,不應只改網頁語言就假設條件相同。選購前應確認實際地區可用,避免拿到不符合任務的設備。
對團隊而言,先建立「任務需要什麼、裝置提供什麼」的對照,會比用真實或雲端這類總稱判斷更精確。能力確認後,才適合安排第一個行動流程。
哪些手機任務適合先測,怎麼把操作和完成分開?
優先選結果清楚、容易撤回的測試工作,能較快看出裝置工具是否真的適合自己的流程。
例如,在測試 App 裡填一份資料、查看某個設定或擷取指定畫面,都有可直接確認的終點。這些例子是試點建議,並非本文或官方已完成的實測。
任務應說清楚起點與終點。只說「把 App 測一下」,代理很難知道該測登入、資料讀取還是表單送出,結果也不容易比較。
較具體的要求可以是使用測試帳號,打開某個畫面,輸入指定內容,再保存畫面顯示的結果。因為驗收依據清楚,人能回到 App 確認。
官方強調操作收據,記錄裝置何時提交動作。這有助於分清請求送出與裝置實際接受,但仍要留意,動作成功不等於業務任務完成。
例如,點擊送出按鈕可能成功,App 卻顯示欄位錯誤。收據能證明點擊發生,最後是否建立資料,仍要從畫面或服務狀態讀回。
官方的畫面識別碼也讓後續動作可以綁定先前觀察。因為畫面可能在思考期間改變,系統可以辨認某些過時操作,避免代理照舊畫面點下去。
但文件同時說,畫面不會只因時間經過就自動失效。這表示不能把識別碼理解成每張畫面都有固定有效秒數,仍要按實際狀態重新觀察。
若 App 已換到付款或對外傳送畫面,團隊應有明確批准方式。行動工具能讓按鈕被點擊,授權卻來自任務和使用者,兩者應各自清楚。
完成一項小任務後,適合再測一次中斷與恢復。穩定工作需要能處理連線問題,而非只在一次展示中順利走完。
網路重試為什麼可能變成重複操作,PhoneUse 怎麼記錄?
重試應先查先前結果,避免把同一個點擊或送出當成全新工作再做一次。
平台提供冪等識別碼,讓客戶端替一次動作標記固定身份。冪等的意思是同一請求重複執行,效果應和一次相同,這裡用來控制網路重送。
官方說明,重用同一個識別碼會回放已保存的結果,而非再次操作。對可能送出表單的動作,這能幫助處理「請求已到、回覆沒收到」的情況。
但文件也區分已確定失敗的動作。這類結果會保留失敗狀態,若要真的再試,需要使用新的識別碼,不能把所有重送都理解成自動重做。
這讓整合程式需要保留請求與識別碼的關係。若每次逾時就隨機產生新碼,仍可能失去去重效果,工具的能力必須被正確使用才有意義。
裝置使用權也有紀錄。租約會限制某段時間由組織使用設備,過期後可以釋放,避免客戶端中斷就永遠占住手機。
官方說明,一次租約通常十分鐘到期,可以續期,但單次總時長有上限。這描述裝置占用機制,和你購買方案的實際計費方式需要分開閱讀。
因為同一組織內仍可能有不同操作者,團隊要知道人在何時接手,代理又在何時繼續。保存動作收據與畫面關係,有助於解釋哪次修改改變了狀態。
若系統回覆裝置不可用、缺少租約或能力不支援,應依錯誤原因調整。反覆用同一段模糊指令重試,通常無法補出不存在的能力。
這些機制提供了較好的追查材料,但驗收仍應回到 App 的實際結果。操作紀錄留下來之後,另一件需要預先決定的事是畫面資料保存多久。
延伸閱讀:Google ARTEMIS 開源:用自然語言操作 Android,手機自動化測試怎麼做?
手機截圖保存多久,為什麼刪掉對話不一定會刪除畫面?
官方文件說,啟用儲存後的預設封存沒有自動到期,刪除對話或歸還裝置也不代表封存畫面一起刪除。
這項條件寫在官方畫面留存說明。手機畫面可能包含訊息、登入狀態與個人資料,因此測試前就應決定要用哪些帳號與內容。
官方提供短期簽名網址讀取單張封存畫面。這種網址在有效期間可以開啟指定圖片,所以應像暫時通行證一樣處理,避免貼進公開報告或長期保存。
讀取網址會過期,和儲存的圖片是否刪除是不同事情。網址失效只表示原連結不能繼續讀,不應直接推成圖片位元已被清掉。
文件也說,可以透過營運管理方式停用新封存,或設定有限留存窗口。這些設定不在代理工具內,使用者需要與服務方安排。
停用新封存也不會刪除既有資料。若團隊要結束試點,應明確詢問先前畫面的處理方式,把停止寫入和刪除歷史分開確認。
官方還揭露,畫面沒有應用層逐組織加密金鑰,保護依賴私人儲存空間、組織權限檢查與短期連結。這讓團隊能按自己的資料要求評估,避免自行補上未提供的保證。
對第一次測試,使用沒有私人訊息的專用帳號與測試資料,通常能減少需要整理的內容。這也方便把畫面放進內部驗收,讓接手者看得懂結果。
若工作真的需要正式帳號,應先確認哪些畫面會被保存、誰能讀取,以及試點結束怎麼處理。這些問題會影響是否能導入,應在登入之前完成。
保存規則清楚之後,團隊還要把設備費用、代理步驟和模型成本分開,才能評估一段手機流程是否划算。
PhoneUse 試點該怎麼看費用與成果?
先選一台符合任務的 Android,完成一段可重現流程,再一起比較設備、模型與人工介入的成本。
官方把裝置計費模式與內部量測分開。月租手機是固定價格,按分鐘手機則依租用分鐘計費,所以不能把文件中的租約時間直接當成所有方案的帳單。
代理代跑工作還有步驟量測。官方以交給工作者的一張畫面計一步,這和點了幾次按鈕不同,因此規劃任務時應查看目前方案的對應方式。
如果使用自己的代理透過 MCP 操作,模型費用也可能來自自己的供應商。設備能用和模型如何計費是不同關係,整體試點應一起記錄。
成果則應看相同工作能否穩定完成。可以保存預期結果、實際畫面、重試次數與人接手的原因,讓團隊知道限制來自裝置、App 還是代理理解。
這次 X 展示讓手機操作成為容易理解的新入口,官方文件則提供了評估範圍。把這兩者一起讀,才能區分可以立即測試的 Android 工作,和需要另談的 iPhone 方案。
延伸閱讀:iCTRL 將開源 iPhone 代理控制工具:不用越獄,開發者該先準備哪些測試?
PhoneUse 常見問題 FAQ
現在能透過 MCP 操作 iPhone 嗎?
官方文件說,機械手加 iPhone 只透過團隊預約提供,沒有接入目前 API、MCP 或命令列。直接工具支援應按 Android 裝置能力核對。
PhoneUse 和 phoneuse.dev 是同一個產品嗎?
本文談的是 phoneuse.com 與 docs.phoneuse.com。網路上有相近名稱的其他專案,功能和安裝方式不能直接混用。
刪掉對話,畫面就會一起消失嗎?
不能這樣假設。官方說封存畫面和對話分開,停止封存、讀取期限與刪除既有資料也需要分別確認。
結語:先驗證可用裝置,再擴大手機工作
PhoneUse 適合有行動流程需求,也願意保存測試證據的團隊。若目標是 iPhone,應先確認另外的服務安排,再估計整合時間。
可以從一項 Android 測試工作開始,核對裝置能力、操作收據、畫面留存與最終結果。想持續掌握 AI 代理與行動自動化工具,歡迎免費訂閱 AI 郵報。