Files
claude-code/docs/features/computer-use.md

4.4 KiB
Raw Blame History

Computer Use 用户指南

Computer Use 让 Claude 直接操控你的电脑——移动鼠标、点击、输入文字、截图,就像一个远程助手坐在你面前操作一样。

支持平台

平台 状态 额外配置
macOS 可用 需授予辅助功能 + 屏幕录制权限
Windows 可用 无需额外配置
Linux 不可用 后端待开发

快速开始

  1. 启动 Claude Code

    bun run dev
    

    Computer Use 默认已开启,无需额外参数。

  2. 在对话中告诉 Claude 你想做什么,例如:

    • "帮我打开系统设置"
    • "截个屏看看当前桌面"
    • "在 Finder 里点击那个文件"
  3. 首次操控某个应用时,会弹出权限对话框让你确认。

  4. 操作过程中随时按 EscmacOSCtrl+CWindows中止。

权限说明

Computer Use 采用分级权限模型,保护你的安全:

级别 能力 适用场景
full 所有操作:鼠标点击(左/右/中键)、拖拽、键盘输入、组合键 系统设置、Finder 等系统应用
click 仅左键点击和滚轮滚动 IDEVS Code、Cursor、终端
未授权 所有操作被拒绝 需要通过 request_access 申请

IDE 类应用默认只有 click 权限,这是安全设计——防止 AI 在你的终端或编辑器中执行危险操作。如需完整控制,可以在权限对话框中手动提升。

可用操作

鼠标

操作 说明
移动鼠标 移动到指定坐标
左键点击 单击、双击、三击
右键点击 需要 full 权限
中键点击 需要 full 权限
拖拽 从 A 点拖到 B 点,需要 full 权限
滚轮 向上或向下滚动

键盘

操作 说明
按键 单个按键或组合键(如 Ctrl+C
输入文字 逐字符输入文本,需要 full 权限
长按 按住某个键一段时间,需要 full 权限

屏幕

操作 说明
截图 截取当前屏幕
切换显示器 多显示器环境下切换目标屏幕
缩放 放大屏幕某个区域

其他

操作 说明
获取鼠标位置 查询当前鼠标坐标
批量操作 一次执行多个操作,减少等待
等待 暂停指定秒数(最长 100 秒)

macOS 权限配置

首次使用前,需要授予两项系统权限。缺少任一项都会导致功能异常(见下方说明)。

辅助功能Accessibility

允许 Claude 控制鼠标和键盘。

  1. 打开 系统设置 → 隐私与安全性 → 辅助功能
  2. 点击左下角锁图标解锁(需要管理员密码)
  3. 将运行 Claude Code 的应用添加到允许列表:
    • Terminal → Terminal.app
    • iTerm → iTerm.app
    • Cursor → Cursor.app
    • VS Code 终端 → ElectronVisual Studio Code.app
  4. 确保应用旁边的开关已打开

未授予时的现象:鼠标移动、点击、键盘输入均无反应,工具执行成功但屏幕没有任何变化。

屏幕录制Screen Recording

允许 Claude 截取屏幕内容。

  1. 打开 系统设置 → 隐私与安全性 → 屏幕录制
  2. 将同一个应用添加到允许列表并开启开关
  3. 需要重启该应用才能生效(系统会提示 "xxx 需要重新打开"

未授予时的现象截图工具执行成功但返回空白图片Claude 无法看到你的屏幕,所有点击操作变成"盲点"。

验证权限

授予两项权限后,重启 Claude Code在对话中让 Claude 截一张图即可验证是否配置成功。如果截图内容正常显示,说明权限配置完成。

Linux 依赖(暂不可用)

Linux 后端尚未开发。完成后需要安装以下工具:

sudo apt install xdotool scrot xclip wmctrl

仅支持 X11Wayland 不支持。

常见问题

截图成功但看不到图片

检查 系统设置 → 隐私与安全性 → 屏幕录制 是否已授权。未授权时截图工具会执行成功但返回空白内容。

IDE 中无法输入文字或右键

这是正常行为。IDE 类应用只有 click 权限,无法执行键盘输入、右键、拖拽等操作。如需完整控制,请在系统应用(如 Finder中操作。

操作中途想停止

EscmacOSCtrl+C 即可立即中止。