ESP32 iPhone Agent 開源：7 美元開發板讓 AI 操作手機，新舊架構差在哪裡？
ESP32 iPhone Agent 用 AirPlay 看畫面、USB 模擬輸入，讓 AI 操作真實 iPhone。本文依新版官方文件整理手機 App、Mac 建置與使用限制，釐清 7 美元板子和完整成本的差別。
ESP32 iPhone Agent 是一個開源專案，利用約 7 美元的 ESP32-S3 開發板，把 iPhone 畫面交給視覺模型，再透過滑鼠與鍵盤輸入操作手機。
這個點子吸引人的地方，是 AI 不只在模擬器裡工作，而是面對真實手機畫面。它需要看見按鈕、決定下一步，再確認操作之後發生了什麼。
但社群流傳的「不用 App、不用電腦」混合了不同時期的架構。最新官方文件說明，執行時可以只有手機與板子，但手機要安裝專案 App，首次建置也需要 Mac 與 Xcode。
因此，7 美元描述的是參考開發板價格，不是完整使用成本。手機、模型服務、網路、轉接器與初次設定，都可能影響你能否實際開始。
對喜歡硬體、想研究手機代理的開發者，這是一個有趣的試作方向。若只是希望買一個即插即用的日常助理，就應先看清安裝與輸入限制。
先把看畫面、做決策與模擬輸入三段拆開，才知道這塊板子到底負責什麼。
ESP32 iPhone Agent 如何用 AirPlay 當眼睛、USB 當雙手？
AirPlay 提供螢幕鏡像，讓板子取得手機畫面。USB HID 則把板子呈現成輸入裝置，讓手機接收滑鼠或鍵盤動作。HID 可以理解成一般電腦辨識鍵鼠的標準介面。
根據 原作者官方程式庫，新版由板子接收 AirPlay，再把畫面資料交給同一支 iPhone 上的 ESP32 Agent App。
模型不在七美元板子上完成全部思考
手機 App 會把畫面交給支援影像的模型介面，取得下一步操作，再透過板子送回輸入。因此板子的角色主要是連接畫面與動作，不是獨立執行大型模型。
這也說明為什麼仍然需要模型端點。API 是讓程式直接呼叫服務的介面，若使用雲端模型，就會涉及網路與用量。若使用自己的模型伺服器，則要另外維護。
所以「手機與板子即可執行」描述的是使用者端硬體形式，不代表完全離線、沒有其他服務，也不代表所有運算都在板子內完成。
Wi-Fi、藍牙與 USB 各走不同一段
新版的資料流可以從手機畫面一路跟下去：iPhone 經 AirPlay 把鏡像送到板子的 Wi-Fi 熱點，板子接收的是壓縮影片串流，並不在板上完成影像解碼。
板子再用 BLE 把串流傳回同一支手機的 App。BLE 是低功耗藍牙通訊，App 負責還原畫面，再交給視覺模型判斷。這解釋了為什麼新版雖然省下執行時電腦，手機 App 卻不能省略。
模型決定下一步之後，App 同樣經 BLE 把動作交給板子，板子才透過 USB 模擬鍵鼠。畫面接收與動作輸入不是同一條連線，所以看得見畫面，不代表滑鼠輸入也已正常。
手機的 Wi-Fi 在此連著板子熱點，外部模型請求則依官方條件走行動數據。若只準備一個雲端模型帳號，卻沒有可用的外部連線，代理仍可能停在取得畫面之後。
每一步都要重新看畫面
手機介面可能載入變慢、彈出提示或改變位置，因此代理需要在動作之後再次觀察。若只按固定座標連續點擊，很容易在某一步偏離之後越做越錯。
這類專案的研究價值，在於把觀察、規劃與動作接成迴圈。使用者可以檢查代理是否真的看到完成畫面，而不只是送出了預定指令。
例如設定鬧鐘時，最後應確認時間、重複日期與啟用狀態。能點進時鐘 App，只代表流程開始，不能當成任務完成。
新版手機 App 與首次建置有哪些條件？
官方最新文件列出 iOS 18 以上、支援的 ESP32-S3 板子，以及首次燒錄與建置 App 需要的 Mac 和 Xcode。Xcode 是 Apple 的開發工具，負責把 App 建置並安裝到手機。
執行階段不需要讓 Mac 一直連著，這和第一次安裝不需要電腦不同。若把兩句話混在一起，準備設備時就會漏掉重要條件。
板子規格要符合實際測試環境
官方測試使用 Seeed Studio XIAO ESP32S3 的特定版本，並說明記憶體與原生 USB 條件。外觀相似的板子，仍可能有不同規格，因此不宜只照產品系列名稱購買。
USB-C iPhone 可以直接連接，相較之下 Lightning 機型需要對應相機轉接器。因為連接方式不同，實際攜帶與使用便利性也會改變。
此外，文件說明手機 Wi-Fi 會用於板子熱點，因此需要行動數據處理外部連線。這對希望完全靠一般 Wi-Fi 使用的人，是會改變採用決定的條件。
免費 Apple ID 和付費開發條件分開
官方說明可以用免費 Apple ID 建置簽署，但需要每七天重新簽署。部分自動加入熱點能力則和付費帳號權限有關，否則可採手動加入。
這些差異影響日常維護，不只是第一次能否安裝。若你打算長期使用，就應把重新簽署與連線步驟算進體驗，而不是只看第一次展示成功。
以下把不同階段的需求放在一起。
| 階段 | 需要的東西 | 容易誤解的地方 |
|---|---|---|
| 首次建置 | Mac、Xcode、板子與手機 | 執行免 Mac 不等於安裝免 Mac |
| 日常操作 | 手機 App、板子、模型端點 | 板子不是完整模型電腦 |
| 連線 | 板子熱點與外部網路 | Wi-Fi 使用方式不同 |
| 持續維護 | 簽署、版本與設定 | 開源不等於不用維護 |
表格中的條件會決定它是適合研究的原型，還是你願意長期使用的工具。先把這些安排清楚，後面的測試才有意義。
板子價格之外還有哪些使用成本？
除了約七美元的參考開發板，還有模型呼叫、行動數據、轉接器與設定時間。若本來沒有 Mac 或合適手機，完整投入就更不能只用板子價格描述。
因為代理每一步都可能看畫面再推理，一個看似簡單任務也可能呼叫多次模型。實際費用取決於步驟、影像處理與重試，因此應看整個任務的支出。
先測短任務的步數與修正
例如只要求開啟時鐘並設定一次鬧鐘，記錄用了多少步、在哪裡停下來，以及是否需要手動接手。這能幫你看出成本主要來自正常流程，還是反覆修正。
若介面稍微變動就需要很多重試，費用和時間可能快速增加。因此測試不應只選最順利的一次，也要保留沒有完成的紀錄。
這些數字最好和結果一起看。便宜完成錯誤任務沒有價值，而慢一些但能確認設定正確，可能更接近你真正需要的能力。
輸入與畫面限制會直接影響用途
官方文件列出目前 ASCII 輸入限制，尚不支援中文輸入與橫向 App 等情境。若你的主要工作是回覆中文訊息，這就不是小細節，而是直接影響可用性的條件。
鎖定、密碼、Apple Pay 與受保護媒體畫面，也不能當成一般鏡像畫面處理。這表示專案適用於能正常顯示與操作的範圍，不能把它宣稱成全面控制手機。
因此先從不需要中文、不涉及敏感確認的任務開始，較容易理解架構。等工具能力變化後，再依官方文件重新評估其他用途。
從鬧鐘任務測試點擊、恢復與停止
以下用假設的鬧鐘任務規劃測試。鬧鐘是一個容易驗收的起點，因為時間和重複日期都能直接核對。測試時先明確指定一次任務，不要讓代理自行擴張成整理整支手機。
可以先備份或清楚記錄既有設定，再要求建立一個測試鬧鐘。完成後由人重新打開檢查，確認沒有改到其他項目。
用錯誤畫面觀察代理如何恢復
如果中途出現提示或畫面停在不同位置，代理應重新觀察，而不是盲目繼續點擊。這能測出視覺回饋是否真的進入工作流程。
也可以在任務開始前指定停止條件，例如連續幾次沒有進展就回報。因為硬體可以持續送出輸入，清楚的中止方式能減少意外操作。
測試時應依自己的設備與文件操作，將結果連到對應畫面，才方便判斷失敗發生在哪一段。
把看不見、點不動與沒存好分開
第一次測試先依專案流程完成指標校準，再確認手機與 App 看到的畫面一致。若畫面沒有更新，就先查鏡像與傳輸。此時一直換模型提示詞，可能完全碰不到問題所在。
若畫面正常，點擊卻沒有落在預期位置，就查看輸入連接、指標位置與縮放對應。先用一個容易辨認的按鈕核對，再進入鬧鐘流程，較容易排除整條工作鏈的基本錯位。
若畫面已切換，App 看到的仍是前一刻，就先等影像更新，再判斷動作是否失敗。把每步截圖與操作時間留在同一份紀錄裡，比反覆點擊更容易定位延遲。
最後只用數字設定時間，避開目前不支援的中文鍵盤輸入。存檔後重新開啟鬧鐘列表，比對新增項目的時間與開關。沒有存成功，就把它記為未完成，不用送出動作數替成果加分。
檢查最後狀態，不只看動作紀錄
代理說已設定八點，仍應查看手機上是否真的是八點，以及重複日期和開關是否正確。因為動作可能被系統忽略或落在錯誤位置，紀錄不能代替結果。
如果任務沒有完成，也應保留它停在哪一步。這能幫你判斷是點擊精度、介面辨識還是模型規劃問題，之後才知道應改哪一段。
開源授權依組件分開
官方專案主體使用 MIT 授權，但 AirPlay 移植部分有 GPL-3.0 條件，連接該部分的韌體也需要依對應授權處理。因此不能把整個專案所有檔案都簡化成單一 MIT。
對個人研究，先理解架構即可。若要修改、散布或做產品，則應檢查各目錄授權。這能避免在原型變成對外交付時，才發現需要補處理程式來源與義務。
延伸閱讀
延伸閱讀：Self Agent Vault 上線：讓 AI 代登入與付款，如何把真實帳密留在模型之外？
延伸閱讀：AI 程式驗收教學：人工審查、測試與逐步上線，各自能抓到哪些錯誤
ESP32 iPhone Agent 常見問題
最新版真的不用手機 App 嗎？
不是。最新版需要同一支 iPhone 上的 ESP32 Agent App。社群早期無 App 說法不能直接套用。
不用一直連 Mac，代表沒有 Mac 也能安裝嗎？
官方文件仍列首次燒錄與 App 建置需要 Mac／Xcode。執行時的硬體需求和初次設定應分開。
七美元就包含全部費用嗎？
那是參考板子價格，不含手機、模型、數據、轉接器與設定時間，完整成本需要依使用方式估算。
先把小任務做對，再評估手機代理的可能性
這個專案用常見硬體把真實手機畫面與模型操作接起來，提供了有趣的研究入口。實際價值仍取決於安裝條件、輸入限制與任務是否能被確認完成。
先從鬧鐘這類可核對的小任務開始，再決定是否投入更多時間。想追蹤開源 AI、硬體試作與代理工具，可以免費訂閱 AI 郵報。
