Claude Code 新功能:AI 直接操控你的 Mac 螢幕,從終端機寫程式到點擊測試一條龍

Anthropic 為旗下 AI 程式碼代理工具推出全新的「Computer Use」(電腦操控)功能,以研究預覽(Research Preview)形式向 macOS 用戶開放。這項功能讓 Claude 能直接控制使用者的電腦螢幕——開啟應用程式、點擊按鈕、輸入文字、截圖,並在同一個對話中串聯完成從寫程式到 UI 測試的完整工作流程,無需離開終端機。
Claude 能直接幫你「點」什麼?
根據官方技術文件,Computer Use 主要針對需要圖形介面(GUI)才能完成的任務,也就是那些「你平常得放下終端機、自己動手做」的事:
- 建置並驗證原生應用程式:叫 Claude 寫一個 macOS 選單列 App,它會自己編譯、啟動、逐一點擊所有控制項確認功能正常,你甚至還沒打開過這個 App。
- 端對端 UI 測試:指著一個本地 Electron 應用說「測試新手引導流程」,Claude 會開啟 App、點擊註冊步驟、對每個畫面截圖。不需要 Playwright 設定,不需要測試框架。
- 偵錯視覺與版面問題:告訴 Claude「這個 Modal 在小視窗上被截到了」,它會縮小視窗重現 bug、截圖、修改 CSS、再次確認修復結果——它看得到你看到的畫面。
- 操作只有 GUI 的工具:設計工具、硬體控制面板、iOS Simulator、或任何沒有 CLI 或 API 的專有軟體。
Claude 的工具選用優先順序
Computer Use 是「最廣泛也最慢」的工具,Claude 會依優先順序選用最精準的方式:
也就是說,螢幕控制是留給「其他方式都搆不到」的場景:原生應用程式、模擬器、沒有 API 的工具。
如何開啟 Computer Use
Computer Use 以內建 MCP Server(名稱:computer-use)的形式提供,預設關閉,需手動啟用:
每次工作階段需逐一授權 App
啟用 computer-use 並不代表 Claude 可以控制你電腦上的所有 App。每次工作階段中,Claude 第一次需要操控某個 App 時,終端機會出現提示,顯示:
- Claude 想控制哪些 App
- 是否有額外的權限請求(如剪貼簿存取)
- 工作期間有多少其他 App 會被隱藏
選擇「本次工作階段允許」或「拒絕」,授權僅在當前工作階段有效。對於具有廣泛系統存取權的 App,系統還會額外顯示警告:
Claude 如何在你的螢幕上工作
:Computer Use 啟動後會取得機器層級的排他鎖,若另一個 Claude Code 工作階段已在使用電腦,新的請求會失敗並提示先結束另一個工作階段。
:Claude 開始操控螢幕時,未授權的可見 App 會被隱藏,確保 Claude 只與授權的 App 互動。你的終端機視窗維持可見且不會被截圖,你可以即時監看,Claude 也看不到自己的輸出。Claude 完成後,隱藏的 App 會自動還原。
:Claude 取得鎖定後,macOS 會顯示通知「Claude is using your computer · press Esc to stop」。隨時按 Esc 或在終端機按 Ctrl+C 即可立即中斷,Claude 會釋放鎖定、還原所有 App,並歸還控制權。
安全機制與信任邊界
官方文件特別強調,Computer Use 與沙箱化的 Bash 工具不同,它直接在你的桌面環境上執行,信任邊界不同。內建的安全護欄包括:
- 逐 App 授權:Claude 只能控制你在當前工作階段明確授權的 App
- 哨兵警告:授予 Shell、檔案系統或系統設定存取權的 App,在授權前會特別標記
- 自動提示注入偵測:Claude 會檢查螢幕上的內容,並標記潛在的提示注入攻擊
使用條件與限制
- 需訂閱 Pro 或 Max 方案(Team、Enterprise 方案不適用)
- 需 Claude Code v2.1.85 以上版本
- 目前僅支援 macOS(研究預覽階段)
- 需在互動式工作階段中使用,不支援非互動模式(-p 旗標)
- 瀏覽器和交易平台等 App 僅限「檢視模式」;終端機和 IDE 為「點擊模式」;其他 App 為完整控制
MacRumors 指出,相比競爭對手,Claude 的 Computer Use 採取更嚴格的權限優先設計,且目前僅限 Mac,而其他方案已支援 macOS、Windows 和 Linux。
對開發者而言,這項功能最大的價值在於縮短「寫程式→測試→修 bug」的迴圈——Claude 不只寫 code,還能親自看著你的畫面驗證結果。
風險提示
加密貨幣投資具有高度風險,其價格可能波動劇烈,您可能損失全部本金。請謹慎評估風險。