Claude Code CLI 新功能：讓 AI 直接操控你的 Mac 電腦——告別手動測試的時代來了！

想像一下，你正在開發一款 macOS 應用程式，過去需要手動編譯、啟動、逐一測試每個按鈕功能，現在只要下一個指令，Claude AI 就能幫你全部搞定。這不是科幻電影情節，而是 Anthropic 剛推出的 Claude Code CLI Computer Use 功能的真實應用場景。

這項突破性功能讓 Claude 能夠直接控制你的 Mac 電腦，從命令列介面執行原本需要圖形化操作的任務。對於開發者、設計師和需要頻繁進行 GUI 測試的專業人士來說，這代表著工作效率的革命性提升。

什麼是 Claude Computer Use 功能？

Claude Computer Use 是一項研究預覽功能，讓 Claude AI 能夠像人類使用者一樣操控你的電腦螢幕。透過這項功能，Claude 可以開啟應用程式、點擊按鈕、輸入文字、滾動頁面，甚至進行截圖記錄。

目前這項功能僅支援 macOS 系統，需要 Pro 或 Max 訂閱方案，並且必須使用 Claude Code v2.1.85 或更新版本，目前研究預覽階段以 Pro 及 Max 用戶為主。

與桌面版應用程式不同，CLI 版本的 Computer Use 特別適合開發者在終端機環境中直接調用，無需切換到圖形介面就能完成複雜的 GUI 操作任務。

Claude 如何決定使用哪種工具？

Claude 擁有多種與應用程式和服務互動的方式，Computer Use 功能被設計為最後的選擇，因為它雖然功能最廣泛，但執行速度也最慢。Claude 會按照以下優先順序選擇工具：

首先，如果你的系統中有相關服務的 MCP server（Model Context Protocol），Claude 會優先使用 MCP。其次，如果任務可以透過 shell 指令完成，Claude 會直接使用 Bash。第三，若是瀏覽器相關工作且已設定 Chrome 擴充功能，Claude 會選用瀏覽器自動化。

只有當上述方法都不適用時，Claude 才會啟用 Computer Use 功能。這種設計確保了系統效能的最佳化，screen control 被保留給那些真正無法透過其他方式達成的任務，例如原生應用程式操作、模擬器控制，以及沒有 API 的專有工具。

啟用 Computer Use 功能的 3 步驟設定

啟用 Claude Computer Use 功能需要經過簡單的三個步驟設定過程。Computer Use 是以內建 MCP server 形式提供，名稱為 `computer-use`，預設為停用狀態。

步驟一：開啟 MCP 選單

在互動式 Claude Code 會話中，輸入 `/mcp` 指令。你會在伺服器清單中看到 `computer-use` 項目，狀態顯示為停用。

步驟二：啟用伺服器

選擇 `computer-use` 並點選 Enable。這個設定會以專案為單位儲存，所以每個專案只需要設定一次。

步驟三：授予 macOS 權限

當 Claude 首次嘗試使用你的電腦時，系統會提示你授予兩個 macOS 權限：輔助使用權限（讓 Claude 能點擊、輸入和滾動）以及 螢幕錄製權限（讓 Claude 能看到螢幕內容）。

應用程式權限管理機制

啟用 `computer-use` 伺服器並不代表 Claude 能存取你電腦上的所有應用程式。當 Claude 在會話中首次需要特定應用程式時，終端機會顯示權限確認提示，告訴你：

Claude 想要控制哪些應用程式、是否需要額外權限（如剪貼簿存取），以及在 Claude 工作期間會隱藏多少其他應用程式。你可以選擇 本次會話允許 或 拒絕。權限核准效力僅限當次會話，當 Claude 同時請求多個應用程式時，也可以一次全部核准。

對於具有廣泛存取權限的應用程式，系統會顯示額外警告。例如，Terminal、iTerm、VS Code 等終端機和 IDE 會標示「等同於 shell 存取權限」；Finder 會標示「可讀寫任何檔案」；系統設定 則標示「可更改系統設定」。

Computer Use 的 5 大實用應用場景

Computer Use 功能特別擅長處理需要圖形化介面的任務，這些通常是你必須離開終端機手動操作的工作。以下是五個主要應用場景：

建置並驗證原生應用程式：你可以要求 Claude 建置一個 macOS 選單列應用程式，Claude 會撰寫 Swift 程式碼、編譯、啟動應用程式，並點擊每個控制項來驗證功能是否正常，這一切都在你開啟應用程式之前完成。

端到端 UI 測試：指定 Claude 測試本地 Electron 應用程式的註冊流程，Claude 會開啟應用程式、點擊註冊流程的每個步驟，並截圖記錄每個階段，完全不需要配置 Playwright 或其他測試框架。

除錯視覺和版面問題：當你發現彈出視窗在小型視窗中會被截斷，Claude 可以調整視窗大小、重現問題、截圖記錄，然後修補 CSS 並驗證修正效果。Claude 能看到你看到的畫面。

操控僅有圖形介面的工具：與設計工具、硬體控制面板、iOS 模擬器或沒有 CLI 或 API 的專有應用程式進行互動。

安全機制與使用限制

雖然 Computer Use 功能強大，但 Anthropic 已內建多層安全防護機制，確保使用者的系統安全。與沙盒化的 Bash 工具不同，Computer Use 直接在你的桌面環境中運行，能存取你核准的應用程式。

系統內建的防護機制包括：逐一應用程式核准制（Claude 只能控制當前會話中你核准的應用程式）、高風險應用程式警告（具有 shell、檔案系統或系統設定存取權限的應用程式會在核准前標示警告）、終端機畫面排除（Claude 永遠看不到你的終端機視窗，避免螢幕上的提示回饋到模型中）。

此外還有 全域中止鍵（按下 Esc 鍵可從任何地方中止 Computer Use，且按鍵會被系統消耗，避免惡意提示注入濫用）以及 鎖定檔案機制（同時間只能有一個會話控制你的電腦）。

Claude 在運作時會隱藏其他可見應用程式，確保只與核准的應用程式互動。你的終端機視窗會保持可見且不被截圖，讓你能觀察會話進行且 Claude 不會看到自己的輸出。

實際操作範例：從編譯到測試一次完成

以下是一些結合 Computer Use 與程式開發任務的常見工作流程範例，展示這項功能如何徹底改變開發者的工作方式。

驗證原生建置範例：修改 macOS 或 iOS 應用程式後，你可以要求 Claude 一次完成編譯和驗證。指令如下：「建置 MenuBarStats 目標，啟動應用程式，開啟偏好設定視窗，並驗證間隔滑桿是否正確更新標籤。完成後請截圖偏好設定視窗。」Claude 會執行 `xcodebuild`、啟動應用程式、與 UI 互動，並回報發現的結果。

重現版面錯誤範例：當視覺錯誤只在特定視窗大小出現時，讓 Claude 協助找出問題。指令：「設定對話框的頁腳在窄視窗中會被截斷。請縮小應用程式視窗直到能重現問題，截圖被截斷的狀態，然後檢查對話框容器的 CSS。」Claude 會調整視窗大小、截圖問題狀態，並讀取相關的樣式表。

測試模擬器流程範例：無需撰寫 XCTest 就能驅動 iOS 模擬器。指令：「開啟 iOS 模擬器，啟動應用程式，點選引導畫面的每個步驟，告訴我是否有任何畫面載入時間超過一秒。」Claude 會像你用滑鼠一樣控制模擬器。

常見問題排解與使用技巧

Computer Use 功能雖然強大，但在使用過程中可能遇到一些技術問題。以下是最常見的問題和解決方法：

「Computer use is in use by another Claude session」錯誤：這表示另一個 Claude Code 會話正在使用電腦控制功能。你需要完成另一個會話的任務或退出該會話。如果其他會話當機，當 Claude 偵測到程序不再運行時會自動釋放鎖定。

macOS 權限提示持續出現：macOS 有時需要在授予螢幕錄製權限後重新啟動請求程序。請完全退出 Claude Code 並開始新會話。如果提示持續出現，請開啟系統設定 > 隱私與安全性 > 螢幕錄製，確認你的終端機應用程式已列出並啟用。

`computer-use` 沒有出現在 `/mcp` 中：伺服器只在符合條件的設定中顯示。請檢查：你是否使用 macOS（Computer use 不支援 Linux 或 Windows）、運行 Claude Code v2.1.85 或更新版本（執行 `claude --version` 檢查）、使用 Pro 或 Max 方案（執行 `/status` 確認訂閱狀態）。

還需要確認你是透過 claude.ai 驗證（Computer use 不支援第三方提供商如 Amazon Bedrock、Google Cloud Vertex AI 或 Microsoft Foundry），以及你在互動式會話中（Computer use 不支援使用 `-p` 旗標的非互動模式）。

與桌面版應用程式的差異比較

Claude Computer Use 功能在 CLI 和桌面版應用程式中都可使用，兩者共享相同的核心引擎，但在一些細節功能上有所差異。

桌面版提供更完整的圖形化設定介面，而 CLI 版本則更適合開發者在終端機環境中的工作流程。未來預計 CLI 版本會逐步加入更多桌面版的進階功能。

對台灣開發者生態的影響

Claude Computer Use 功能的推出，對台灣的軟體開發生態具有重要意義。在人力成本持續上升的環境下，這項技術能讓開發者將更多時間投入在創意發想和核心邏輯開發上，而非重複性的測試工作。

特別是對於台灣眾多的新創公司和獨立開發者來說，Computer Use 能有效降低 QA 測試的人力需求，讓小團隊也能維持高品質的軟體交付。同時，這項技術也為台灣發展中的 AI 產業提供了新的應用方向，從單純的文字處理擴展到實際的電腦操作自動化。

隨著更多開發者採用這類 AI 輔助工具，我們預期將看到軟體開發流程的進一步自動化，以及對 AI 與人類協作模式的重新思考。對於想要保持競爭力的台灣開發者來說，現在就是開始實驗和採用這些新工具的最佳時機。

想每週掌握最新 AI 工具與趨勢？訂閱 AI郵報，每週精選重點直送信箱，讓你不錯過任何重要動態。