feat: Computer Use — Windows 跨平台支持 + GUI 无障碍增强 + Python Bridge

三平台 Computer Use (macOS + Windows + Linux)，Windows 专项增强。 - MCP server: toolCalls/tools/executor/mcpServer 等 12 文件完整实现 - 平台抽象层: platforms/{win32,darwin,linux}.ts - 跨平台 executor: executorCrossPlatform.ts - CHICAGO_MCP + VOICE_MODE feature flags 启用 - windowMessage.ts: SendMessageW (WM_CHAR Unicode + 剪贴板粘贴) - windowBorder.ts: 4 叠加窗口边框 (30fps 跟踪) - uiAutomation.ts: UI Automation 元素树/点击/写值 - accessibilitySnapshot.ts: 无障碍快照 → 模型感知 GUI - bridge.py + bridgeClient.ts: Python 长驻进程 (替代 per-call PS) - window_management: min/max/restore/close/focus (Win32 API) - click_element / type_into_element: 按名称操作 (无需坐标) - 截图自动附带 Accessibility Snapshot - 17 种方法, stdin/stdout JSON 通信 - 窗口枚举 1.5ms vs PS 500ms, 截图 360ms vs PS 800ms - 依赖: mss + Pillow + pywinauto
2026-06-15 12:55:51 +00:00 · 2026-04-05 15:27:50 +08:00
parent 7a2ade0a02
commit c17edcb12e
36 changed files with 8297 additions and 351 deletions
--- a/docs/features/computer-use-architecture-v2.md
+++ b/docs/features/computer-use-architecture-v2.md
@@ -0,0 +1,325 @@
+# Computer Use 架构修正方案 v2
+
+更新时间：2026-04-04
+
+## 1. 当前架构的问题
+
+### 问题 A：平台代码混在错误的包里
+
+`@ant/computer-use-swift` 是 macOS Swift 原生模块的包装器，但我们把 Windows（`backends/win32.ts`）和 Linux（`backends/linux.ts`）的截图/应用管理代码塞进了这个包。"swift" 在名字里就意味着 macOS，后期维护者无法区分。
+
+`@ant/computer-use-input` 同样——原本是 macOS enigo Rust 模块，我们也往里面塞了 win32/linux 后端。
+
+### 问题 B：输入方式不对
+
+当前 Windows 后端（`packages/@ant/computer-use-input/src/backends/win32.ts`）使用 `SetCursorPos` + `SendInput` + `keybd_event`——这是**全局输入**：
+
+- 鼠标真的会移动到屏幕上
+- 键盘真的打到当前前台窗口
+- **会影响用户当前的操作**
+
+绑定窗口句柄后，应该用 `SendMessage`/`PostMessage` 向目标 HWND 发送消息：
+
+- `WM_CHAR` — 发送字符，不移动光标
+- `WM_KEYDOWN`/`WM_KEYUP` — 发送按键
+- `WM_LBUTTONDOWN`/`WM_LBUTTONUP` — 发送鼠标点击（窗口客户区相对坐标）
+- `PrintWindow` — 截取窗口内容，不需要窗口在前台
+- **不抢焦点、不影响用户当前操作**
+
+已验证：向记事本 `SendMessage(WM_CHAR)` 成功写入文字，记事本在后台，终端保持前台。
+
+### 问题 C：截图是公共能力，不属于 swift
+
+截图（screenshot）、显示器枚举（display）、应用管理（apps）是所有平台都需要的公共能力，不应该放在 `@ant/computer-use-swift`（macOS 专属包名）里。
+
+## 2. 修正后的架构
+
+### 2.1 分层原则
+
+```
+packages/@ant/                     ← macOS 原生模块包装器（不放其他平台代码）
+├── computer-use-input/             ← macOS: enigo .node 键鼠（仅 darwin）
+├── computer-use-swift/             ← macOS: Swift .node 截图/应用（仅 darwin）
+└── computer-use-mcp/               ← 跨平台: MCP server + 工具定义（不改）
+
+src/utils/computerUse/
+├── platforms/                     ← 新增: 跨平台抽象层
+│   ├── types.ts                    ← 公共接口: InputPlatform, ScreenshotPlatform, AppsPlatform, DisplayPlatform
+│   ├── index.ts                    ← 平台分发器: 按 process.platform 加载后端
+│   ├── darwin.ts                   ← macOS: 委托给 @ant/computer-use-{input,swift}
+│   ├── win32.ts                    ← Windows: SendMessage 输入 + PrintWindow 截图 + EnumWindows + UIA + OCR
+│   └── linux.ts                    ← Linux: xdotool + scrot + xrandr + wmctrl
+│
+├── win32/                         ← Windows 专属增强能力（不在公共接口中）
+│   ├── windowCapture.ts            ← PrintWindow 窗口绑定截图
+│   ├── windowEnum.ts               ← EnumWindows 窗口枚举
+│   ├── windowMessage.ts            ← SendMessage/PostMessage 无焦点输入（新增）
+│   ├── uiAutomation.ts             ← IUIAutomation UI 元素操作
+│   └── ocr.ts                      ← Windows.Media.Ocr 文字识别
+│
+├── executor.ts                    ← 改: 通过 platforms/ 获取平台实现，不直接调 @ant 包
+├── swiftLoader.ts                 ← 改: 仅 darwin 使用
+├── inputLoader.ts                 ← 改: 仅 darwin 使用
+└── ...其他文件不动
+```
+
+### 2.2 公共接口（`platforms/types.ts`）
+
+```typescript
+/** 窗口标识 — 跨平台 */
+export interface WindowHandle {
+  id: string           // macOS: bundleId, Windows: HWND string, Linux: window ID
+  pid: number
+  title: string
+  exePath?: string     // Windows/Linux: 进程路径
+}
+
+/** 输入平台接口 — 两种模式 */
+export interface InputPlatform {
+  // 模式 A: 全局输入（macOS/Linux 默认，向前台窗口发送）
+  moveMouse(x: number, y: number): Promise<void>
+  click(x: number, y: number, button: 'left' | 'right' | 'middle'): Promise<void>
+  typeText(text: string): Promise<void>
+  key(name: string, action: 'press' | 'release'): Promise<void>
+  keys(combo: string[]): Promise<void>
+  scroll(amount: number, direction: 'vertical' | 'horizontal'): Promise<void>
+  mouseLocation(): Promise<{ x: number; y: number }>
+  
+  // 模式 B: 窗口绑定输入（Windows SendMessage，不抢焦点）
+  sendChar?(hwnd: string, char: string): Promise<void>
+  sendKey?(hwnd: string, vk: number, action: 'down' | 'up'): Promise<void>
+  sendClick?(hwnd: string, x: number, y: number, button: 'left' | 'right'): Promise<void>
+  sendText?(hwnd: string, text: string): Promise<void>
+}
+
+/** 截图平台接口 */
+export interface ScreenshotPlatform {
+  // 全屏截图
+  captureScreen(displayId?: number): Promise<ScreenshotResult>
+  // 区域截图
+  captureRegion(x: number, y: number, w: number, h: number): Promise<ScreenshotResult>
+  // 窗口截图（Windows: PrintWindow，macOS: SCContentFilter，Linux: xdotool+import）
+  captureWindow?(hwnd: string): Promise<ScreenshotResult | null>
+}
+
+/** 显示器平台接口 */
+export interface DisplayPlatform {
+  listAll(): DisplayInfo[]
+  getSize(displayId?: number): DisplayInfo
+}
+
+/** 应用管理平台接口 */
+export interface AppsPlatform {
+  listRunning(): WindowHandle[]
+  listInstalled(): Promise<InstalledApp[]>
+  open(name: string): Promise<void>
+  getFrontmostApp(): FrontmostAppInfo | null
+  findWindowByTitle(title: string): WindowHandle | null
+}
+
+export interface ScreenshotResult {
+  base64: string
+  width: number
+  height: number
+}
+
+export interface DisplayInfo {
+  width: number
+  height: number
+  scaleFactor: number
+  displayId: number
+}
+
+export interface InstalledApp {
+  id: string       // macOS: bundleId, Windows: exe path, Linux: .desktop name
+  displayName: string
+  path: string
+}
+
+export interface FrontmostAppInfo {
+  id: string
+  appName: string
+}
+```
+
+### 2.3 平台分发器（`platforms/index.ts`）
+
+```typescript
+import type { InputPlatform, ScreenshotPlatform, DisplayPlatform, AppsPlatform } from './types.js'
+
+export interface Platform {
+  input: InputPlatform
+  screenshot: ScreenshotPlatform
+  display: DisplayPlatform
+  apps: AppsPlatform
+}
+
+export function loadPlatform(): Platform {
+  switch (process.platform) {
+    case 'darwin':
+      return require('./darwin.js').platform
+    case 'win32':
+      return require('./win32.js').platform
+    case 'linux':
+      return require('./linux.js').platform
+    default:
+      throw new Error(`Computer Use not supported on ${process.platform}`)
+  }
+}
+```
+
+### 2.4 各平台实现
+
+**`platforms/darwin.ts`** — 委托给 @ant 包（保持兼容）：
+```typescript
+// macOS: 通过 @ant/computer-use-input 和 @ant/computer-use-swift
+// 这两个包的 darwin 后端保留不动
+import { requireComputerUseInput } from '../inputLoader.js'
+import { requireComputerUseSwift } from '../swiftLoader.js'
+
+export const platform = {
+  input: { /* 委托给 requireComputerUseInput() */ },
+  screenshot: { /* 委托给 requireComputerUseSwift().screenshot */ },
+  display: { /* 委托给 requireComputerUseSwift().display */ },
+  apps: { /* 委托给 requireComputerUseSwift().apps */ },
+}
+```
+
+**`platforms/win32.ts`** — 使用 `src/utils/computerUse/win32/` 模块：
+```typescript
+// Windows: SendMessage 输入 + PrintWindow 截图 + EnumWindows 应用
+import { sendChar, sendKey, sendClick, sendText } from '../win32/windowMessage.js'
+import { captureWindow } from '../win32/windowCapture.js'
+import { listWindows } from '../win32/windowEnum.js'
+// ... PowerShell P/Invoke 全局输入作为 fallback
+
+export const platform = {
+  input: {
+    // 全局模式: PowerShell SetCursorPos/SendInput（fallback）
+    // 窗口模式: SendMessage（首选）
+    sendChar, sendKey, sendClick, sendText,  // 窗口绑定
+    moveMouse, click, typeText, ...           // 全局 fallback
+  },
+  screenshot: {
+    captureScreen,     // CopyFromScreen
+    captureRegion,     // CopyFromScreen(rect)
+    captureWindow,     // PrintWindow（不抢焦点）
+  },
+  display: { /* Screen.AllScreens */ },
+  apps: { /* EnumWindows */ },
+}
+```
+
+**`platforms/linux.ts`** — 使用 xdotool/scrot：
+```typescript
+// Linux: xdotool + scrot + xrandr + wmctrl
+export const platform = {
+  input: { /* xdotool mousemove/click/key/type */ },
+  screenshot: { /* scrot */ },
+  display: { /* xrandr */ },
+  apps: { /* wmctrl + ps */ },
+}
+```
+
+### 2.5 executor.ts 改造
+
+```typescript
+// 之前: 直接调 requireComputerUseSwift() 和 requireComputerUseInput()
+// 之后: 通过 platforms/ 统一获取
+
+import { loadPlatform } from './platforms/index.js'
+
+const platform = loadPlatform()
+
+// 截图
+platform.screenshot.captureScreen()
+platform.screenshot.captureWindow(hwnd)  // 窗口绑定
+
+// 输入（窗口绑定模式，不抢焦点）
+platform.input.sendText?.(hwnd, 'Hello')
+platform.input.sendClick?.(hwnd, 100, 200, 'left')
+
+// 输入（全局模式，fallback）
+platform.input.moveMouse(500, 500)
+platform.input.click(500, 500, 'left')
+```
+
+## 3. Windows 输入模式对比
+
+| 方式 | API | 抢焦点 | 移鼠标 | 窗口可最小化 | 适用场景 |
+|------|-----|--------|--------|-------------|---------|
+| **全局输入** | `SetCursorPos` + `SendInput` | ✅ 抢 | ✅ 动 | ❌ 不行 | 需要坐标点击（fallback） |
+| **窗口消息** | `SendMessage(WM_CHAR/WM_KEYDOWN)` | ❌ 不抢 | ❌ 不动 | ✅ 可以 | 打字、按键（首选） |
+| **窗口消息** | `SendMessage(WM_LBUTTONDOWN)` | ❌ 不抢 | ❌ 不动 | ⚠️ 部分 | 窗口内点击 |
+| **窗口截图** | `PrintWindow(hwnd, PW_RENDERFULLCONTENT)` | ❌ 不抢 | ❌ 不动 | ✅ 可以 | 窗口截图 |
+| **UI 操作** | `UIAutomation InvokePattern` | ❌ 不抢 | ❌ 不动 | ✅ 可以 | 按钮点击、文本写入 |
+
+**策略**：优先用窗口消息 + UIAutomation（不干扰用户），全局输入作为 fallback。
+
+## 4. 需要新增的文件
+
+| 文件 | 说明 |
+|------|------|
+| `src/utils/computerUse/platforms/types.ts` | 公共接口定义 |
+| `src/utils/computerUse/platforms/index.ts` | 平台分发器 |
+| `src/utils/computerUse/platforms/darwin.ts` | macOS: 委托给 @ant 包 |
+| `src/utils/computerUse/platforms/win32.ts` | Windows: 组合 win32/ 下各模块 |
+| `src/utils/computerUse/platforms/linux.ts` | Linux: xdotool/scrot |
+| `src/utils/computerUse/win32/windowMessage.ts` | **新增**: SendMessage 无焦点输入 |
+
+## 5. 需要移除/清理的文件
+
+| 文件 | 操作 | 原因 |
+|------|------|------|
+| `packages/@ant/computer-use-input/src/backends/win32.ts` | 删除 | Windows 代码不应在 macOS 包里 |
+| `packages/@ant/computer-use-input/src/backends/linux.ts` | 删除 | Linux 代码不应在 macOS 包里 |
+| `packages/@ant/computer-use-swift/src/backends/win32.ts` | 删除 | 同上 |
+| `packages/@ant/computer-use-swift/src/backends/linux.ts` | 删除 | 同上 |
+| `packages/@ant/computer-use-input/src/types.ts` | 删除 | 移到 platforms/types.ts |
+| `packages/@ant/computer-use-swift/src/types.ts` | 删除 | 移到 platforms/types.ts |
+
+## 6. 需要修改的文件
+
+| 文件 | 改动 |
+|------|------|
+| `packages/@ant/computer-use-input/src/index.ts` | 恢复为仅 darwin dispatcher（去掉 win32/linux case） |
+| `packages/@ant/computer-use-swift/src/index.ts` | 恢复为仅 darwin dispatcher（去掉 win32/linux case） |
+| `src/utils/computerUse/executor.ts` | 通过 `platforms/` 获取平台实现，不直接调 @ant 包 |
+| `src/utils/computerUse/swiftLoader.ts` | 仅 darwin 加载 |
+| `src/utils/computerUse/inputLoader.ts` | 仅 darwin 加载 |
+
+## 7. @ant 包的定位（修正后）
+
+| 包 | 职责 | 平台 |
+|---|------|------|
+| `@ant/computer-use-input` | macOS enigo 键鼠原生模块包装 | **仅 darwin** |
+| `@ant/computer-use-swift` | macOS Swift 截图/应用原生模块包装 | **仅 darwin** |
+| `@ant/computer-use-mcp` | MCP Server + 工具定义 + 调用路由 | **跨平台**（不含平台代码） |
+
+Windows/Linux 的平台实现全部在 `src/utils/computerUse/platforms/` 和 `src/utils/computerUse/win32/` 中。
+
+## 8. 执行顺序
+
+```
+Phase 1: 创建 platforms/ 抽象层
+  ├── platforms/types.ts（公共接口）
+  ├── platforms/index.ts（分发器）
+  └── platforms/darwin.ts（委托 @ant 包）
+
+Phase 2: 创建 Windows 平台实现
+  ├── win32/windowMessage.ts（SendMessage 无焦点输入）
+  └── platforms/win32.ts（组合 win32/ 各模块）
+
+Phase 3: 创建 Linux 平台实现
+  └── platforms/linux.ts（xdotool/scrot）
+
+Phase 4: 改造 executor.ts
+  └── 通过 platforms/ 获取实现，不直接调 @ant
+
+Phase 5: 清理 @ant 包
+  ├── 删除 @ant/computer-use-input/src/backends/{win32,linux}.ts
+  ├── 删除 @ant/computer-use-swift/src/backends/{win32,linux}.ts
+  └── 恢复 index.ts 为 darwin-only
+
+Phase 6: 验证 + PR
+```
--- a/docs/features/computer-use-tools-reference.md
+++ b/docs/features/computer-use-tools-reference.md
@@ -0,0 +1,496 @@
+# Computer Use 工具参考文档
+
+## 概览
+
+Computer Use 提供 37 个工具，分为三类：
+
+| 分类 | 平台 | 工具数 | 说明 |
+|------|------|--------|------|
+| 通用工具 | 全平台 | 24 | 官方 Computer Use 标准能力 |
+| Windows 专属工具 | Win32 | 10 | 绑定窗口模式下的增强能力 |
+| 教学工具 | 全平台 | 3 | 分步引导模式（需 teachMode 开启） |
+
+---
+
+## 一、通用工具（24 个）
+
+全平台可用。未绑定窗口时，操作对象是整个屏幕。
+
+### 权限与会话
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `request_access` | `apps[]`, `reason`, `clipboardRead?`, `clipboardWrite?`, `systemKeyCombos?` | 请求操作应用的权限。所有其他工具的前置条件 |
+| `list_granted_applications` | — | 列出当前会话已授权的应用 |
+
+### 截图与显示
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `screenshot` | `save_to_disk?` | 截取当前屏幕。绑定窗口时截取绑定窗口（PrintWindow）。返回图片 + GUI 元素列表（Windows） |
+| `zoom` | `region: [x1,y1,x2,y2]` | 截取指定区域的高分辨率图片。坐标基于最近一次全屏截图 |
+| `switch_display` | `display` | 切换截图的目标显示器 |
+
+### 鼠标操作
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `left_click` | `coordinate: [x,y]`, `text?` (修饰键) | 左键点击。`text` 可传 "shift"/"ctrl"/"alt" 实现组合点击 |
+| `double_click` | `coordinate`, `text?` | 双击 |
+| `triple_click` | `coordinate`, `text?` | 三击（选整行） |
+| `right_click` | `coordinate`, `text?` | 右键点击 |
+| `middle_click` | `coordinate`, `text?` | 中键点击 |
+| `mouse_move` | `coordinate` | 移动鼠标（不点击） |
+| `left_click_drag` | `coordinate` (终点), `start_coordinate?` (起点) | 拖拽 |
+| `left_mouse_down` | — | 按下左键不松 |
+| `left_mouse_up` | — | 松开左键 |
+| `cursor_position` | — | 获取当前鼠标位置 |
+
+### 键盘操作
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `type` | `text` | 输入文字 |
+| `key` | `text` (如 "ctrl+s"), `repeat?` | 按键/组合键 |
+| `hold_key` | `text`, `duration` (秒) | 按住键指定时长 |
+
+### 滚动
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `scroll` | `coordinate`, `scroll_direction`, `scroll_amount` | 滚动。方向: up/down/left/right |
+
+### 应用管理
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `open_application` | `app` | 打开应用。Windows 上自动绑定窗口 |
+
+### 剪贴板
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `read_clipboard` | — | 读取剪贴板文字 |
+| `write_clipboard` | `text` | 写入剪贴板 |
+
+### 其他
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `wait` | `duration` (秒) | 等待 |
+| `computer_batch` | `actions[]` | 批量执行多个动作（减少 API 往返） |
+
+---
+
+## 二、Windows 专属工具（10 个）
+
+仅 Windows 平台可见。核心能力：**绑定窗口后的独立操作——不抢占用户鼠标键盘**。
+
+### 工作模式
+
+```
+┌──────────────────────────────────────────────────┐
+│                  未绑定模式                        │
+│  使用通用工具 (left_click/type/key/scroll)          │
+│  操作对象：整个屏幕                                 │
+│  输入方式：全局 SendInput（会移动真实鼠标）           │
+└──────────────────────────────────────────────────┘
+                        │
+                  bind_window / open_application
+                        ▼
+┌──────────────────────────────────────────────────┐
+│                  绑定窗口模式                      │
+│  使用 Win32 工具 (virtual_mouse/virtual_keyboard)  │
+│  操作对象：绑定的窗口                               │
+│  输入方式：SendMessageW（不动真实鼠标/键盘）          │
+│  可视化：DWM 绿色边框 + 虚拟光标 + 状态指示器        │
+└──────────────────────────────────────────────────┘
+```
+
+### 窗口绑定
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `bind_window` | `action`: list/bind/unbind/status | 窗口绑定管理 |
+
+**动作详情：**
+
+| action | 参数 | 说明 |
+|--------|------|------|
+| `list` | — | 列出所有可见窗口（hwnd、pid、title） |
+| `bind` | `title?`, `hwnd?`, `pid?` | 绑定到指定窗口。设置 DWM 绿色边框 + 启动虚拟光标 + 启动状态指示器 + 短暂激活窗口确保可接收输入 |
+| `unbind` | — | 解除绑定，恢复全屏模式 |
+| `status` | — | 查看当前绑定状态（hwnd、title、pid、窗口矩形） |
+
+### 窗口管理
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `window_management` | `action`, `x?`, `y?`, `width?`, `height?` | 窗口操作（Win32 API，不走全局快捷键） |
+
+**动作详情：**
+
+| action | 说明 |
+|--------|------|
+| `minimize` | ShowWindow(SW_MINIMIZE) |
+| `maximize` | ShowWindow(SW_MAXIMIZE) |
+| `restore` | ShowWindow(SW_RESTORE) — 恢复最小化/最大化 |
+| `close` | SendMessage(WM_CLOSE) — 优雅关闭 |
+| `focus` | SetForegroundWindow + BringWindowToTop — 激活窗口 |
+| `move_offscreen` | SetWindowPos(-32000,-32000) — 移到屏幕外（仍可 SendMessage/PrintWindow） |
+| `move_resize` | SetWindowPos — 移动/缩放到指定位置和大小 |
+| `get_rect` | GetWindowRect — 获取当前位置和大小 |
+
+### 虚拟鼠标
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `virtual_mouse` | `action`, `coordinate: [x,y]`, `start_coordinate?` | 在绑定窗口内操作虚拟鼠标 |
+
+**动作详情：**
+
+| action | 说明 |
+|--------|------|
+| `click` | 左键点击。虚拟光标移动到坐标 + 闪烁动画 |
+| `double_click` | 双击 |
+| `right_click` | 右键点击 |
+| `move` | 移动虚拟光标（不点击） |
+| `drag` | 按住 → 移动 → 松开。需 `start_coordinate` 指定起点 |
+| `down` | 按下左键不松 |
+| `up` | 松开左键 |
+
+**与通用鼠标工具的区别：**
+
+| | 通用 (`left_click` 等) | `virtual_mouse` |
+|---|---|---|
+| 输入方式 | SendInput（全局） | SendMessageW（窗口级） |
+| 真实鼠标 | 会移动 | **不动** |
+| 用户干扰 | 有 | **无** |
+| 适用场景 | 未绑定时 | **绑定后** |
+
+### 虚拟键盘
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `virtual_keyboard` | `action`, `text`, `duration?`, `repeat?` | 在绑定窗口内操作虚拟键盘 |
+
+**动作详情：**
+
+| action | text 含义 | 说明 |
+|--------|----------|------|
+| `type` | 要输入的文字 | SendMessageW(WM_CHAR)，支持 Unicode 中文/emoji |
+| `combo` | 组合键 (如 "ctrl+s") | WM_KEYDOWN/UP 序列 |
+| `press` | 单个键名 | 按下不松（配合 release 使用） |
+| `release` | 单个键名 | 松开按键 |
+| `hold` | 键名或组合 | 按住指定秒数后松开 |
+
+**与通用键盘工具的区别：**
+
+| | 通用 (`type`/`key`) | `virtual_keyboard` |
+|---|---|---|
+| 输入方式 | SendInput（全局） | SendMessageW（窗口级） |
+| 物理键盘 | 会冲突 | **不冲突** |
+| 适用场景 | 未绑定时 | **绑定后** |
+
+**注意：** SendMessageW 对 Windows Terminal (ConPTY) 等现代应用无效。这些应用需要使用通用工具 + 窗口激活方式操作。
+
+### 鼠标滚轮
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `mouse_wheel` | `coordinate: [x,y]`, `delta`, `direction?` | WM_MOUSEWHEEL 鼠标中键滚轮 |
+
+**参数说明：**
+- `delta`: 正值=向上，负值=向下。每 1 单位 ≈ 3 行
+- `direction`: "vertical"（默认）或 "horizontal"
+- `coordinate`: 滚轮作用点——决定哪个面板/区域接收滚动
+
+**与通用 `scroll` 的区别：**
+
+| | `scroll` | `mouse_wheel` |
+|---|---|---|
+| 原理 | WM_VSCROLL/WM_HSCROLL | **WM_MOUSEWHEEL** |
+| Excel | ❌ | ✅ |
+| 浏览器 | ❌ | ✅ |
+| 代码编辑器 | ❌ | ✅ |
+
+### 元素级操作
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `click_element` | `name?`, `role?`, `automationId?` | 按无障碍名称/角色点击 GUI 元素 |
+| `type_into_element` | `name?`, `role?`, `automationId?`, `text` | 按名称向元素输入文字 |
+
+**工作原理：**
+1. 通过 UI Automation 在绑定窗口中查找匹配元素
+2. `click_element`: 先尝试 InvokePattern（按钮/菜单），失败则 SendMessage 点击 BoundingRect 中心
+3. `type_into_element`: 先尝试 ValuePattern 直接设值，失败则点击聚焦 + WM_CHAR 输入
+
+**适用场景：**
+- 截图中看到元素名称但坐标不精确时
+- Accessibility Snapshot 列出了元素的 name/automationId 时
+- 比坐标点击更可靠（不受窗口缩放/DPI 影响）
+
+### 终端交互
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `prompt_respond` | `response_type`, `arrow_direction?`, `arrow_count?`, `text?` | 处理终端 Yes/No/选择提示 |
+
+**response_type 详情：**
+
+| response_type | 操作 | 场景 |
+|---------------|------|------|
+| `yes` | 发送 'y' + Enter | npm "Continue? (y/n)" |
+| `no` | 发送 'n' + Enter | 拒绝确认 |
+| `enter` | 发送 Enter | 接受默认选项 |
+| `escape` | 发送 Escape | 取消操作 |
+| `select` | ↑/↓ 箭头 × N + Enter | inquirer 选择菜单 |
+| `type` | 输入文字 + Enter | 文本输入提示 |
+
+### 状态指示器
+
+| 工具 | 参数 | 说明 |
+|------|------|------|
+| `status_indicator` | `action`: show/hide/status, `message?` | 控制绑定窗口底部的浮动状态标签 |
+
+---
+
+## 三、教学工具（3 个）
+
+需要 `teachMode` 开启。
+
+| 工具 | 说明 |
+|------|------|
+| `request_teach_access` | 请求教学引导模式权限 |
+| `teach_step` | 显示一步引导提示，等用户点 Next |
+| `teach_batch` | 批量排队多步引导 |
+
+---
+
+## 操作流程
+
+### 流程 1：全屏操作（未绑定）
+
+```
+request_access(apps=["Notepad"])
+open_application(app="Notepad")          ← 自动绑定窗口
+screenshot                               ← PrintWindow 截图 + GUI 元素列表
+left_click(coordinate=[500, 300])        ← 全局 SendInput
+type(text="hello world")                 ← 全局 SendInput
+key(text="ctrl+s")                       ← 全局 SendInput
+```
+
+### 流程 2：绑定窗口操作（推荐，不干扰用户）
+
+```
+request_access(apps=["Notepad"])
+bind_window(action="list")               ← 列出所有窗口
+bind_window(action="bind", title="记事本") ← 绑定 + 绿色边框 + 虚拟光标
+screenshot                               ← PrintWindow 截取绑定窗口
+virtual_mouse(action="click", coordinate=[500, 300])   ← SendMessageW，不动真实鼠标
+virtual_keyboard(action="type", text="hello world")    ← SendMessageW，不动物理键盘
+virtual_keyboard(action="combo", text="ctrl+s")        ← 保存
+mouse_wheel(coordinate=[500, 400], delta=-5)           ← 向下滚动
+bind_window(action="unbind")             ← 解除绑定
+```
+
+### 流程 3：按元素名称操作
+
+```
+bind_window(action="bind", title="记事本")
+screenshot                               ← 返回截图 + GUI elements 列表
+click_element(name="保存", role="Button") ← UI Automation 查找并点击
+type_into_element(role="Edit", text="new content")
+```
+
+### 流程 4：终端交互
+
+```
+bind_window(action="bind", title="PowerShell")
+screenshot
+prompt_respond(response_type="yes")      ← 回答 y + Enter
+prompt_respond(response_type="select", arrow_direction="down", arrow_count=2)  ← 选第3项
+```
+
+### 流程 5：Excel/浏览器滚动
+
+```
+bind_window(action="bind", title="Excel")
+screenshot
+mouse_wheel(coordinate=[600, 400], delta=-10)            ← 向下滚动 10 格
+mouse_wheel(coordinate=[600, 400], delta=5, direction="horizontal")  ← 向右滚动
+```
+
+---
+
+## 应用兼容性
+
+| 应用类型 | SendMessageW (virtual_*) | 元素操作 (click_element) | 注意 |
+|---------|--------------------------|------------------------|------|
+| 传统 Win32 (记事本/写字板) | ✅ | ✅ | 完美支持 |
+| Office (Excel/Word) | ✅ (COM 自动化) | ✅ | 通过 COM API |
+| WPF 应用 | ✅ | ✅ | 标准 UIA 支持 |
+| Electron/Chrome | ⚠️ 部分 | ⚠️ 部分 | 内部渲染不走 Win32 消息 |
+| UWP/WinUI (Windows Terminal) | ❌ | ❌ | ConPTY 不接受 SendMessageW |
+| 浏览器网页内容 | ❌ | ❌ | 需要全局 SendInput |
+
+**对于不支持 SendMessageW 的应用**，使用通用工具 (`left_click`/`type`/`key`) + `window_management(action="focus")` 先激活窗口。
+
+---
+
+## 绑定窗口时的可视化
+
+绑定窗口后自动启动三层可视化：
+
+1. **DWM 绿色边框** — 窗口自身的边框颜色变绿，零偏移
+2. **虚拟鼠标光标** — 红色箭头图标，跟随 virtual_mouse 操作移动，点击时闪烁
+3. **状态指示器** — 窗口底部浮动标签，显示当前操作（通过 status_indicator 控制）
+
+---
+
+## Accessibility Snapshot
+
+每次 `screenshot` 时，如果窗口已绑定，会自动附带 GUI 元素列表：
+
+```
+GUI elements in this window:
+[Button] "Save" (120,50 80x30) enabled
+[Edit] "" (200,80 400x25) enabled value="hello" id=textBox1
+[MenuItem] "File" (10,0 40x25) enabled
+[MenuItem] "Edit" (50,0 40x25) enabled
+[CheckBox] "Auto-save" (300,50 100x20) enabled id=chkAutoSave
+```
+
+模型同时收到 **截图图片 + 结构化元素列表**，可以选择：
+- 用坐标操作：`virtual_mouse(action="click", coordinate=[120, 50])`
+- 用名称操作：`click_element(name="Save")`
+
+---
+
+## UI Automation Control Patterns 参考
+
+`click_element` / `type_into_element` 底层使用 UI Automation Control Patterns。当前已实现的和可扩展的：
+
+| Pattern | 用途 | 当前状态 | 可用于 |
+|---------|------|---------|--------|
+| `InvokePattern` | 触发点击 | ✅ 已实现 (`click_element`) | 按钮、菜单项、链接 |
+| `ValuePattern` | 读写文本值 | ✅ 已实现 (`type_into_element`) | 文本框、组合框 |
+| `TogglePattern` | 切换状态 | ❌ 未实现 | 复选框、开关 |
+| `SelectionPattern` | 选择项目 | ❌ 未实现 | 下拉菜单、列表 |
+| `ScrollPattern` | 编程滚动 | ❌ 未实现（用 `mouse_wheel` 替代） | 列表、树、面板 |
+| `ExpandCollapsePattern` | 展开/折叠 | ❌ 未实现 | 树节点、折叠面板 |
+| `WindowPattern` | 窗口操作 | ❌ 未实现（用 `window_management` 替代） | 窗口最大化/关闭 |
+| `TextPattern` | 读取文档文本 | ❌ 未实现 | 文档、富文本 |
+| `GridPattern` | 表格操作 | ❌ 未实现 | Excel 单元格、数据网格 |
+| `TablePattern` | 表格结构 | ❌ 未实现 | 表头、行列关系 |
+| `RangeValuePattern` | 范围值操作 | ❌ 未实现 | 滑块、进度条 |
+| `TransformPattern` | 移动/缩放 | ❌ 未实现 | 可拖拽元素 |
+
+**扩展路线：** 优先实现 `TogglePattern`（复选框）和 `SelectionPattern`（下拉菜单），这两个在表单自动化中最常用。
+
+---
+
+## 屏幕截取技术方案对比
+
+当前使用 Python Bridge (mss) 进行截图，底层是 GDI BitBlt。三种方案对比：
+
+| 方案 | API | 当前状态 | 性能 | 优势 | 限制 |
+|------|-----|---------|------|------|------|
+| **GDI BitBlt** | `BitBlt` / `PrintWindow` | ✅ 当前使用 (mss/bridge.py) | ~300ms | 简单稳定，支持后台窗口 (PrintWindow) | 不支持硬件加速内容、DPI 处理复杂 |
+| **DXGI Desktop Duplication** | `IDXGIOutputDuplication` | ❌ 未实现 | ~16ms (60fps) | 硬件加速，支持 HDR，GPU 直接读取 | 不支持单窗口截取，需 D3D11 |
+| **Windows.Graphics.Capture** | `GraphicsCaptureItem` | ❌ 未实现 | ~16ms | 最新 API，支持单窗口/单显示器，系统级权限管理 | Win10 1903+，首次需用户确认 |
+
+### 推荐升级路径
+
+```
+当前: GDI BitBlt (mss) ─── 全屏 ~300ms, 窗口 ~300ms (PrintWindow)
+  │
+  ├─ 近期: DXGI Desktop Duplication ─── 全屏 ~16ms, 但不支持单窗口
+  │
+  └─ 远期: Windows.Graphics.Capture ─── 全屏 + 单窗口都 ~16ms
+```
+
+### DXGI Desktop Duplication 实现要点
+
+```python
+# bridge.py 中可添加 DXGI 截图（通过 d3dshot 或 dxcam 库）
+import dxcam  # pip install dxcam
+
+camera = dxcam.create()
+frame = camera.grab()  # numpy array, ~5ms
+# 转为 JPEG base64 发送
+```
+
+### Windows.Graphics.Capture 实现要点
+
+```python
+# 需要 WinRT Python 绑定
+# pip install winrt-Windows.Graphics.Capture winrt-Windows.Graphics.DirectX
+# 限制：首次调用需要用户在系统弹窗中确认权限
+```
+
+---
+
+## 输入方式技术矩阵
+
+不同应用类型需要不同的输入方式：
+
+| 输入方式 | API | 优势 | 限制 | 适用应用 |
+|---------|-----|------|------|---------|
+| **SendMessageW** | `WM_CHAR` / `WM_KEYDOWN` | 不抢焦点，不动真实键鼠 | 现代应用不支持 | Win32 传统应用 (记事本/Office/WPF) |
+| **SendInput** | `INPUT` 结构体 | 所有应用都支持 | **必须前台焦点**，会干扰用户 | 所有应用（通用后备） |
+| **WriteConsoleInput** | 控制台 API | 直接写入控制台缓冲区 | 需要 AttachConsole（可能被拒绝） | cmd/PowerShell（非 Windows Terminal） |
+| **UI Automation** | `InvokePattern` / `ValuePattern` | 语义级操作，最可靠 | 部分应用不暴露 UIA 接口 | 支持 UIA 的应用 |
+| **COM Automation** | Excel/Word COM | 完全编程控制 | 仅 Office 应用 | Excel / Word |
+| **剪贴板 + 粘贴** | `SetClipboardData` + `Ctrl+V` | 绕过输入限制 | 会覆盖用户剪贴板 | 通用后备 |
+
+### 按应用类型的推荐输入策略
+
+| 应用类型 | 首选 | 后备 | 说明 |
+|---------|------|------|------|
+| 传统 Win32 (记事本/写字板) | SendMessageW | UIA ValuePattern | 虚拟输入完美工作 |
+| Office (Excel/Word) | COM Automation | SendMessageW | COM 提供结构化操作 |
+| WPF 应用 | SendMessageW | UIA | 标准 Win32 消息循环 |
+| Electron/Chrome 应用 | UIA | 剪贴板粘贴 | 内部渲染不走 Win32 |
+| Windows Terminal (ConPTY) | SendInput (需前台) | 剪贴板粘贴 | ConPTY 不接受外部消息 |
+| UWP/WinUI 应用 | SendInput (需前台) | UIA | XAML 渲染不走 Win32 消息 |
+
+---
+
+## 已知限制与待解决
+
+| 限制 | 影响 | 计划 |
+|------|------|------|
+| Windows Terminal 不接受 SendMessageW | 虚拟键盘/鼠标对终端无效 | 自动检测应用类型，终端类切换到 SendInput + 短暂激活 |
+| PrintWindow 截不到 alternate screen buffer | Ink REPL 画面截不到 | 切换到 Windows.Graphics.Capture |
+| Accessibility Snapshot 对大应用慢 (>30s) | Excel 等复杂应用超时 | 限制遍历深度 + 超时保护 |
+| DWM 边框对自定义标题栏应用可能无效 | 某些 Electron 应用看不到边框 | 检测并回退到叠加窗口方案 |
+| 虚拟光标是 PowerShell WinForms 进程 | 启动慢 (~1s)，资源占用 | 考虑用 Win32 原生窗口替代 |
+
+---
+
+## 技术路线图
+
+### Phase 1（当前）— 基础功能
+- ✅ SendMessageW 虚拟输入
+- ✅ PrintWindow/mss 截图
+- ✅ UI Automation (InvokePattern + ValuePattern)
+- ✅ Accessibility Snapshot
+- ✅ DWM 边框指示
+- ✅ Python Bridge
+
+### Phase 2（近期）— 兼容性增强
+- ⬜ 应用类型自动检测（Win32 vs Terminal vs UWP）
+- ⬜ 终端类应用自动切换 SendInput + 短暂激活
+- ⬜ TogglePattern / SelectionPattern 支持
+- ⬜ DXGI Desktop Duplication 高速截图
+- ⬜ Accessibility Snapshot 超时保护
+
+### Phase 3（远期）— 高级能力
+- ⬜ Windows.Graphics.Capture（单窗口实时截图）
+- ⬜ 截图元素标注（在截图上标记 ID 数字）
+- ⬜ 浏览器 DOM 提取（绑定浏览器时提取网页结构）
+- ⬜ GridPattern / TablePattern（Excel 单元格级操作）
+- ⬜ TextPattern（文档内容读取）
+- ⬜ 多窗口协同操作
--- a/docs/features/computer-use.md
+++ b/docs/features/computer-use.md
@@ -1,136 +1,197 @@
-# Computer Use 用户指南
+# Computer Use — macOS / Windows / Linux 跨平台实施计划

-Computer Use 让 Claude 直接操控你的电脑——移动鼠标、点击、输入文字、截图，就像一个远程助手坐在你面前操作一样。
+更新时间：2026-04-03
+参考项目：`E:\源码\claude-code-source-main\claude-code-source-main`

-## 支持平台
+## 1. 现状

-| 平台 | 状态 | 额外配置 |
-|------|------|---------|
-| macOS | 可用 | 需授予辅助功能 + 屏幕录制权限 |
-| Windows | 可用 | 无需额外配置 |
-| Linux | 不可用 | 后端待开发 |
+参考项目的 Computer Use **仅支持 macOS**——从入口到底层全部写死 darwin。我们的项目在 Phase 1-3 中已经完成了：

-## 快速开始
+- ✅ `@ant/computer-use-mcp` stub 替换为完整实现（12 文件）
+- ✅ `@ant/computer-use-input` 拆为 dispatcher + backends（darwin + win32）
+- ✅ `@ant/computer-use-swift` 拆为 dispatcher + backends（darwin + win32）
+- ✅ `CHICAGO_MCP` 编译开关已开
+- ❌ `src/` 层有 6 处 macOS 硬编码阻塞

-1. 启动 Claude Code：
+## 2. 阻塞点全景

-   ```bash
-   bun run dev
-   ```
+### 2.1 入口层

-   Computer Use 默认已开启，无需额外参数。
+| # | 文件:行号 | 阻塞代码 | 影响 |
+|---|----------|---------|------|
+| 1 | `src/main.tsx:1605` | `getPlatform() === 'macos'` | 整个 CU 初始化被跳过 |

-2. 在对话中告诉 Claude 你想做什么，例如：
-   - "帮我打开系统设置"
-   - "截个屏看看当前桌面"
-   - "在 Finder 里点击那个文件"
+### 2.2 加载层

-3. 首次操控某个应用时，会弹出权限对话框让你确认。
+| # | 文件:行号 | 阻塞代码 | 影响 |
+|---|----------|---------|------|
+| 2 | `src/utils/computerUse/swiftLoader.ts:16` | `process.platform !== 'darwin'` → throw | 截图、应用管理全部不可用 |
+| 3 | `src/utils/computerUse/executor.ts:263` | `process.platform !== 'darwin'` → throw | 整个 executor 工厂函数不可用 |

-4. 操作过程中随时按 **Esc**（macOS）或 **Ctrl+C**（Windows）中止。
+### 2.3 macOS 特有依赖

-## 权限说明
+| # | 文件:行号 | 依赖 | macOS 实现 | 需要替代方案 |
+|---|----------|------|-----------|------------|
+| 4 | `executor.ts:70-88` | 剪贴板 | `pbcopy`/`pbpaste` | Win: PowerShell `Get/Set-Clipboard`；Linux: `xclip`/`wl-copy` |
+| 5 | `drainRunLoop.ts:21` | CFRunLoop pump | `cu._drainMainRunLoop()` | 非 darwin：直接执行 fn()，不需要 pump |
+| 6 | `escHotkey.ts:28` | ESC 热键 | CGEventTap | 非 darwin：返回 false（已有 Ctrl+C fallback） |
+| 7 | `hostAdapter.ts:48-54` | 系统权限 | TCC accessibility + screenRecording | Win：直接 granted；Linux：检查 xdotool |
+| 8 | `common.ts:56` | 平台标识 | `platform: 'darwin'` 硬编码 | 动态获取 |
+| 9 | `executor.ts:180` | 粘贴快捷键 | `command+v` | Win/Linux：`ctrl+v` |

-Computer Use 采用分级权限模型，保护你的安全：
+### 2.4 缺失的 Linux 后端

-| 级别 | 能力 | 适用场景 |
-|------|------|---------|
-| **full** | 所有操作：鼠标点击（左/右/中键）、拖拽、键盘输入、组合键 | 系统设置、Finder 等系统应用 |
-| **click** | 仅左键点击和滚轮滚动 | IDE（VS Code、Cursor）、终端 |
-| 未授权 | 所有操作被拒绝 | 需要通过 `request_access` 申请 |
+| 包 | macOS | Windows | Linux |
+|---|-------|---------|-------|
+| `computer-use-input/backends/` | ✅ darwin.ts | ✅ win32.ts | ❌ 需新建 linux.ts |
+| `computer-use-swift/backends/` | ✅ darwin.ts | ✅ win32.ts | ❌ 需新建 linux.ts |

-IDE 类应用默认只有 click 权限，这是安全设计——防止 AI 在你的终端或编辑器中执行危险操作。如需完整控制，可以在权限对话框中手动提升。
+## 3. 每个平台的能力依赖

-## 可用操作
+### 3.1 computer-use-input（键鼠）

-### 鼠标
+| 功能 | macOS | Windows | Linux |
+|------|-------|---------|-------|
+| 鼠标移动 | CGEvent JXA | SetCursorPos P/Invoke | xdotool mousemove |
+| 鼠标点击 | CGEvent JXA | SendInput P/Invoke | xdotool click |
+| 鼠标滚轮 | CGEvent JXA | SendInput MOUSEEVENTF_WHEEL | xdotool scroll |
+| 键盘按键 | System Events osascript | keybd_event P/Invoke | xdotool key |
+| 组合键 | System Events osascript | keybd_event 组合 | xdotool key combo |
+| 文本输入 | System Events keystroke | SendKeys.SendWait | xdotool type |
+| 前台应用 | System Events osascript | GetForegroundWindow P/Invoke | xdotool getactivewindow + /proc |
+| 工具依赖 | osascript（内置） | powershell（内置） | xdotool（需安装） |

-| 操作 | 说明 |
-|------|------|
-| 移动鼠标 | 移动到指定坐标 |
-| 左键点击 | 单击、双击、三击 |
-| 右键点击 | 需要 full 权限 |
-| 中键点击 | 需要 full 权限 |
-| 拖拽 | 从 A 点拖到 B 点，需要 full 权限 |
-| 滚轮 | 向上或向下滚动 |
+### 3.2 computer-use-swift（截图 + 应用管理）

-### 键盘
+| 功能 | macOS | Windows | Linux |
+|------|-------|---------|-------|
+| 全屏截图 | screencapture | CopyFromScreen | gnome-screenshot / scrot / grim |
+| 区域截图 | screencapture -R | CopyFromScreen(rect) | gnome-screenshot -a / scrot -a / grim -g |
+| 显示器列表 | CGGetActiveDisplayList JXA | Screen.AllScreens | xrandr --query |
+| 运行中应用 | System Events JXA | Get-Process | wmctrl -l / ps |
+| 打开应用 | osascript activate | Start-Process | xdg-open / gtk-launch |
+| 隐藏/显示 | System Events visibility | ShowWindow/SetForegroundWindow | wmctrl -c / xdotool |
+| 工具依赖 | screencapture + osascript | powershell | xdotool + scrot/grim + wmctrl |

-| 操作 | 说明 |
-|------|------|
-| 按键 | 单个按键或组合键（如 Ctrl+C） |
-| 输入文字 | 逐字符输入文本，需要 full 权限 |
-| 长按 | 按住某个键一段时间，需要 full 权限 |
+### 3.3 executor 层

-### 屏幕
+| 功能 | macOS | Windows | Linux |
+|------|-------|---------|-------|
+| drainRunLoop | CFRunLoop pump | 不需要 | 不需要 |
+| ESC 热键 | CGEventTap | 跳过（Ctrl+C fallback） | 跳过（Ctrl+C fallback） |
+| 剪贴板读 | pbpaste | `powershell Get-Clipboard` | xclip -o / wl-paste |
+| 剪贴板写 | pbcopy | `powershell Set-Clipboard` | xclip / wl-copy |
+| 粘贴快捷键 | command+v | ctrl+v | ctrl+v |
+| 终端检测 | __CFBundleIdentifier | WT_SESSION / TERM_PROGRAM | TERM_PROGRAM |
+| 系统权限 | TCC check | 直接 granted | 检查 xdotool 安装 |

-| 操作 | 说明 |
-|------|------|
-| 截图 | 截取当前屏幕 |
-| 切换显示器 | 多显示器环境下切换目标屏幕 |
-| 缩放 | 放大屏幕某个区域 |
+## 4. 执行步骤

-### 其他
+### Phase 1：已完成 ✅

-| 操作 | 说明 |
-|------|------|
-| 获取鼠标位置 | 查询当前鼠标坐标 |
-| 批量操作 | 一次执行多个操作，减少等待 |
-| 等待 | 暂停指定秒数（最长 100 秒） |
+- [x] `@ant/computer-use-mcp` stub → 完整实现
+- [x] `@ant/computer-use-input` dispatcher + darwin/win32 backends
+- [x] `@ant/computer-use-swift` dispatcher + darwin/win32 backends
+- [x] `CHICAGO_MCP` 编译开关

-## macOS 权限配置
+### Phase 2：移除 6 处 macOS 硬编码（解锁 macOS + Windows）

-首次使用前，需要授予两项系统权限。缺少任一项都会导致功能异常（见下方说明）。
+**改动原则：macOS 代码路径不变，只在每处 darwin 守卫后加 win32/linux 分支。**

-### 辅助功能（Accessibility）
+| 步骤 | 文件 | 改动 |
+|------|------|------|
+| 2.1 | `src/main.tsx:1605` | `getPlatform() === 'macos'` → 去掉平台限制，或改为 `!== 'unknown'` |
+| 2.2 | `src/utils/computerUse/swiftLoader.ts:16-18` | 移除 `process.platform !== 'darwin'` throw。`@ant/computer-use-swift/index.ts` 已有跨平台 dispatch |
+| 2.3 | `src/utils/computerUse/executor.ts:263-267` | 移除 `process.platform !== 'darwin'` throw。改为检查 input/swift isSupported |
+| 2.4 | `src/utils/computerUse/executor.ts:70-88` | 剪贴板函数按平台分发：darwin→pbcopy/pbpaste，win32→PowerShell Get/Set-Clipboard，linux→xclip |
+| 2.5 | `src/utils/computerUse/executor.ts:180` | `typeViaClipboard` 中 `command+v` → 非 darwin 时用 `ctrl+v` |
+| 2.6 | `src/utils/computerUse/executor.ts:273` | `const cu = requireComputerUseSwift()` → 改为 `new ComputerUseAPI()`（从 package 直接实例化，不走 swiftLoader throw） |
+| 2.7 | `src/utils/computerUse/drainRunLoop.ts` | 开头加 `if (process.platform !== 'darwin') return fn()` |
+| 2.8 | `src/utils/computerUse/escHotkey.ts` | `registerEscHotkey` 非 darwin 返回 false（已有 Ctrl+C fallback） |
+| 2.9 | `src/utils/computerUse/hostAdapter.ts:48-54` | `ensureOsPermissions` 非 darwin 返回 `{ granted: true }` |
+| 2.10 | `src/utils/computerUse/common.ts:56` | `platform: 'darwin'` → `platform: process.platform === 'win32' ? 'windows' : process.platform === 'linux' ? 'linux' : 'darwin'` |
+| 2.11 | `src/utils/computerUse/common.ts:55` | `screenshotFiltering: 'native'` → 非 darwin 时 `'none'`（Windows/Linux 截图不支持 per-app 过滤） |
+| 2.12 | `src/utils/computerUse/gates.ts:13` | `enabled: false` → `enabled: true`（无 GrowthBook 时默认可用） |
+| 2.13 | `src/utils/computerUse/gates.ts:39-43` | `hasRequiredSubscription()` → 直接返回 `true` |

-允许 Claude 控制鼠标和键盘。
+### Phase 3：新增 Linux 后端

-1. 打开 **系统设置 → 隐私与安全性 → 辅助功能**
-2. 点击左下角锁图标解锁（需要管理员密码）
-3. 将运行 Claude Code 的应用添加到允许列表：
-   - Terminal → `Terminal.app`
-   - iTerm → `iTerm.app`
-   - Cursor → `Cursor.app`
-   - VS Code 终端 → `Electron` 或 `Visual Studio Code.app`
-4. 确保应用旁边的开关已打开
+| 步骤 | 文件 | 内容 |
+|------|------|------|
+| 3.1 | `packages/@ant/computer-use-input/src/backends/linux.ts` | xdotool 键鼠（mousemove/click/key/type/getactivewindow） |
+| 3.2 | `packages/@ant/computer-use-swift/src/backends/linux.ts` | scrot/grim 截图 + xrandr 显示器 + wmctrl 窗口管理 |
+| 3.3 | `packages/@ant/computer-use-input/src/index.ts` | dispatcher 加 `case 'linux'` |
+| 3.4 | `packages/@ant/computer-use-swift/src/index.ts` | dispatcher 加 `case 'linux'` |

-**未授予时的现象**：鼠标移动、点击、键盘输入均无反应，工具执行成功但屏幕没有任何变化。
+### Phase 4：验证

-### 屏幕录制（Screen Recording）
+| 测试项 | macOS | Windows | Linux |
+|--------|-------|---------|-------|
+| build 成功 | ✅ | 验证 | 验证 |
+| MCP 工具列表非空 | 验证 | 验证 | 验证 |
+| 鼠标移动 | 验证 | ✅ 已通过 | 验证 |
+| 截图 | 验证 | ✅ 已通过 | 验证 |
+| 键盘输入 | 验证 | 验证 | 验证 |
+| 前台窗口 | 验证 | ✅ 已通过 | 验证 |
+| 剪贴板 | 验证 | 验证 | 验证 |

-允许 Claude 截取屏幕内容。
+## 5. 文件改动总览

-1. 打开 **系统设置 → 隐私与安全性 → 屏幕录制**
-2. 将同一个应用添加到允许列表并开启开关
-3. **需要重启该应用**才能生效（系统会提示 "xxx 需要重新打开"）
+### 不动的文件（14 个）

-**未授予时的现象**：截图工具执行成功但返回空白图片，Claude 无法看到你的屏幕，所有点击操作变成"盲点"。
+`cleanup.ts`、`computerUseLock.ts`、`wrapper.tsx`、`toolRendering.tsx`、`mcpServer.ts`、`setup.ts`、`appNames.ts`、`inputLoader.ts`、`src/services/mcp/client.ts`、`@ant/computer-use-mcp/src/*`（Phase 1 已完成）、`backends/darwin.ts`（两个包都不动）

-### 验证权限
+### 改 src/ 的文件（8 个）

-授予两项权限后，重启 Claude Code，在对话中让 Claude 截一张图即可验证是否配置成功。如果截图内容正常显示，说明权限配置完成。
+| 文件 | 改动量 | 风险 |
+|------|--------|------|
+| `main.tsx` | 1 行 | 低 |
+| `swiftLoader.ts` | 2 行 | 低 |
+| `executor.ts` | ~40 行（剪贴板分发 + 平台守卫 + paste 快捷键） | **中** |
+| `drainRunLoop.ts` | 1 行 | 低 |
+| `escHotkey.ts` | 3 行 | 低 |
+| `hostAdapter.ts` | 5 行 | 低 |
+| `common.ts` | 3 行 | 低 |
+| `gates.ts` | 3 行 | 低 |

-## Linux 依赖（暂不可用）
+### 新增文件（2 个）

-Linux 后端尚未开发。完成后需要安装以下工具：
+| 文件 | 行数估算 |
+|------|---------|
+| `packages/@ant/computer-use-input/src/backends/linux.ts` | ~150 行 |
+| `packages/@ant/computer-use-swift/src/backends/linux.ts` | ~200 行 |

-```bash
-sudo apt install xdotool scrot xclip wmctrl
+## 6. Linux 依赖工具
+
+| 工具 | 用途 | 安装命令（Ubuntu） |
+|------|------|-------------------|
+| `xdotool` | 键鼠模拟 + 窗口管理 | `sudo apt install xdotool` |
+| `scrot` 或 `gnome-screenshot` | 截图 | `sudo apt install scrot` |
+| `xrandr` | 显示器信息 | 通常已预装 |
+| `xclip` | 剪贴板 | `sudo apt install xclip` |
+| `wmctrl` | 窗口列表/切换 | `sudo apt install wmctrl` |
+
+Wayland 环境需要替代工具：`ydotool`（替代 xdotool）、`grim`（替代 scrot）、`wl-clipboard`（替代 xclip）。初期可先只支持 X11，Wayland 标记为 todo。
+
+## 7. 执行顺序建议
+
+```
+Phase 2（解锁 macOS + Windows）
+  ├── 2.1-2.3  移除 3 处硬编码 throw/skip
+  ├── 2.4-2.5  剪贴板 + 粘贴快捷键平台分发
+  ├── 2.6      swiftLoader → 直接实例化
+  ├── 2.7-2.9  drainRunLoop / escHotkey / permissions 平台分支
+  ├── 2.10-2.11 common.ts 平台标识动态化
+  ├── 2.12-2.13 gates.ts 默认值
+  └── 验证 Windows
+
+Phase 3（Linux 后端）
+  ├── 3.1  input/backends/linux.ts
+  ├── 3.2  swift/backends/linux.ts
+  ├── 3.3-3.4  dispatcher 加 linux case
+  └── 验证 Linux
+
+Phase 4（集成验证 + PR）
 ```

-仅支持 X11，Wayland 不支持。
-
-## 常见问题
-
-### 截图成功但看不到图片
-
-检查 **系统设置 → 隐私与安全性 → 屏幕录制** 是否已授权。未授权时截图工具会执行成功但返回空白内容。
-
-### IDE 中无法输入文字或右键
-
-这是正常行为。IDE 类应用只有 click 权限，无法执行键盘输入、右键、拖拽等操作。如需完整控制，请在系统应用（如 Finder）中操作。
-
-### 操作中途想停止
-
-按 **Esc**（macOS）或 **Ctrl+C** 即可立即中止。
+每个 Phase 可独立验证、独立提交。Phase 2 完成后 macOS + Windows 可用，Phase 3 完成后三平台全部可用。