Vercel Labs 近日在 GitHub 上开源了 agent-desktop 项目，定位为面向 AI 智能体的计算机操作工具。该项目以命令行界面和 C 库两种形态提供，支持 macOS、Windows 与 Linux 三大桌面平台，目标是让智能体能够读取并操作桌面应用程序。

与依赖屏幕截图和像素匹配的视觉方案不同，agent-desktop 走的是操作系统无障碍树路径。每次快照会返回一段 JSON，其中为智能体可操作的每个元素标注了 ref 引用。智能体针对某个 ref 执行动作后，再次发起快照进行验证，整个循环保留在智能体自身逻辑中，无需外部像素比对环节。

在运行机制上，该工具的每一次 CLI 调用都在独立进程中执行。即便在无头模式下，调用同样禁止前台激活与合成输入，这一设计约束了自动化操作对用户当前界面的干扰。

除无障碍树快照外，agent-desktop 还提供剪贴板读取、屏幕截图、命令输出以及调试产物等能力，为智能体完成桌面任务提供了较为完整的信息输入通道。对于需要跨平台桌面自动化的 AI 应用开发者而言，这一项目提供了一种绕开视觉识别、直接基于系统语义结构操作界面的实现思路。