Qwen-CUA – 阿里 Qwen 等推出的原生 Computer Use Agent

1. Qwen-CUA是什么

Qwen-CUA 是由 Qwen 团队与 XLang Lab 联合推出的原生 Computer Use Agent，基于 397B-A17B 混合专家架构，仅通过截图感知界面状态，无需依赖 DOM 树或辅助功能元数据，直接输出键盘和鼠标事件操控浏览器、桌面应用及专业软件。在 OSWorld-Verified 基准上取得 86.2 分，更大版本 Qwen-CUA-Max 参数量超万亿，达到 87.6 分，处于开源 CUA 领域领先水平。

技术定位与领域： 属于多模态交互与计算机视觉驱动的 GUI 自动化领域，定位为端到端的视觉-动作模型，直接跨越传统依赖 HTML 结构或系统 API 的感知壁垒，实现真正的跨平台通用操控。

研发背景： 由阿里通义千问团队与 XLang Lab 联合推出，基于 Qwen 系列大模型在视觉理解与多模态对齐方面的深厚积累，旨在解决现有 Computer Use Agent 对结构化信息或第三方 API 的过度依赖问题，推动开源 CUA 技术走向实用化。

核心价值： 通过纯视觉感知打破平台限制，无需为每款应用编写适配脚本，大幅降低自动化开发与维护成本；端到端训练范式提升了操作序列的稳定性和连贯性，为 RPA、无障碍辅助、科研自动化等场景提供了高性价比的基座模型。

技术特点： 采用 397B-A17B MoE 架构平衡表达力与推理开销；混合注意力机制将长序列计算复杂度从 O(n²) 降至近线性，256K 上下文吞吐量提升 19 倍；512 个细粒度专家路由配合共享专家，实现灵活的知识激活与信息融合。

2. 主要功能

• 纯视觉感知： 仅通过屏幕截图理解界面状态，不依赖 HTML DOM 树、无障碍元数据或操作系统 API。这种设计使模型能够操控任何具有图形界面的软件，包括浏览器、桌面应用和专业工具，跨平台通用性显著优于传统方案。

• 原生输入模拟： 直接输出键盘和鼠标事件（点击、输入、滚动、拖拽等），无需中间 API 转换或外部自动化框架。模型在端到端训练中学会了精准的坐标定位和动作序列生成，操作延迟低、稳定性高。

• MoE 架构底座： 基于 Qwen3.5-397B-A17B 混合专家模型，总参数 397B，每次前向推理仅激活 17B 参数。在保持强大表达能力的同时控制推理成本，Max 版本参数量超万亿，性能进一步提升，适应不同算力预算。

• 混合注意力机制： 采用 GatedDeltaNet 线性注意力与 Gated Full Attention 按 75:25 交替排列，将长序列计算复杂度从 O(n²) 降至接近线性。在 256K 上下文下，吞吐量较传统架构提升 19 倍，支持超长操作历史记录。

• 细粒度专家路由： 每层配置 512 个路由专家，通过 Top-10 选择与权重重归一化激活，并配合 1 个共享专家和 sigmoid 门控自适应调节通用知识贡献。这种设计避免了信息损失，提升了模型在多样化界面上的泛化能力。

• 视觉编码与定位： 继承 Qwen-VL 系列的 ViT 架构，支持动态分辨率输入；配合 MRoPE 多模态旋转位置编码，同时编码时间、高度、宽度三维信息，能够精准定位界面元素坐标，实现毫米级点击精度。

3. 如何使用

1. 环境要求： 推荐使用配备 NVIDIA A100 或更高性能 GPU 的服务器，显存建议不低于 80GB（397B-A17B 模型）。操作系统支持 Linux（Ubuntu 20.04+），需安装 Python 3.8+、PyTorch 2.0+ 以及 CUDA 11.8+。若使用 Max 版本，需更高算力配置。

2. 获取代码与模型： 访问 GitHub 仓库 xlang-ai/Qwen-CUA，使用 git clone 下载项目代码。模型权重可通过 Hugging Face 或官方提供的链接下载，也可直接使用项目内脚本自动拉取。技术报告与 Demo 代码均在仓库内。

3. 配置运行环境： 进入项目目录，运行 pip install -r requirements.txt 安装依赖。根据 README 指引配置模型路径和推理参数（如上下文长度、采样温度）。建议先使用官方提供的配置文件模板进行适配。

4. 运行参考 Demo： 执行 python run_demo.py 启动示例脚本。Demo 会加载模型并打开一个测试界面，通过截图输入和键盘鼠标输出闭环演示自动化操作流程，帮助用户验证环境配置是否正确。

5. 接入自有环境： 将模型接入本地或云端的桌面/浏览器环境。通过截图输入（支持 PNG/JPEG 格式）和键盘鼠标输出（通过 PyAutoGUI 或类似库）构建闭环任务。官方提供 API 调用示例，便于集成到现有自动化流水线。

注意事项： 纯视觉感知在低分辨率或界面元素密集时可能出现误识别，建议保持屏幕分辨率在 1920×1080 以上；首次加载模型需较长时间，建议使用 SSD 存储权重文件；多实例部署时注意显存分配。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要高精度、跨平台且预算充足的研究团队或企业，Qwen-CUA 凭借开源架构和领先的基准得分是首选，尤其适合科研自动化、专业软件操控等长尾场景。若团队算力有限且主要面向浏览器自动化，OpenAI CUA/Operator 的闭源 API 方案可降低部署复杂度，但长期使用成本较高且灵活性不足。多 Agent 拼接方案适合快速原型验证，但稳定性和端到端连贯性难以保证，不建议用于生产级任务。

6. 编辑总结

Qwen-CUA 在技术创新上展现了清晰的差异化路径：通过纯视觉感知彻底摆脱对 DOM 树或系统 API 的依赖，使得模型能够像人类一样直接“看屏幕操作”，这一设计理念在跨平台通用性上具有天然优势。其混合注意力机制与细粒度专家路由在工程层面有效解决了长序列计算效率和知识激活问题，256K 上下文吞吐量提升 19 倍的数据证明了架构设计的先进性。在实用价值方面，86.2 分的 OSWorld 基准成绩验证了纯视觉路线在复杂 GUI 任务中的可行性，开源 Apache 2.0 协议降低了学术研究和商业集成的门槛。该工具主要面向具备一定算力基础的研究机构、自动化测试团队以及 RPA 开发商，尤其适合需要操控无 API 接口的专业软件或老旧系统的场景。未来发展潜力方面，随着社区贡献的增多和微调工具的完善，Qwen-CUA 有望成为开源 CUA 领域的基座模型，推动更多垂直场景的定制化应用。不过，当前文档和生态尚处早期，硬件门槛也限制了其在个人开发者中的普及，后续需在模型量化、推理加速和工具链完善上持续投入。

7. 应用场景

• 自动化软件测试： 通过截图识别界面元素并执行点击、输入、滚动等操作，无需编写特定脚本即可完成跨平台 UI 回归测试。特别适合频繁迭代的 Web 应用和桌面客户端，测试脚本维护成本大幅降低。

• RPA 流程自动化： 替代人工完成数据录入、报表生成、ERP 操作等重复性桌面办公任务，无需改造企业原有 IT 系统。Qwen-CUA 可直接操作任意图形界面，对老旧系统或无 API 的软件尤其有效。

• 无障碍辅助工具： 为视障用户或老年人自动识别软件界面元素并代为执行精确操作，降低专业软件使用门槛。模型通过截图理解按钮、菜单等组件位置，配合语音指令可实现完全无鼠标操作。

• 科研与专业软件操控： 自动操控 MATLAB、SPSS、Origin 等无 API 接口的专业软件，批量执行实验数据处理、图表生成、统计分析等长周期任务。研究人员可定义操作流程后交由模型自动执行，提升工作效率。

• 云端 Agent 托管服务： 部署于云桌面环境 7×24 小时执行网站巡检、数据抓取、定时报表下载等后台任务。Qwen-CUA 的纯视觉特性使其不受云桌面环境差异影响，稳定性优于依赖 DOM 的方案。

8. 常见问题FAQ

Q：Qwen-CUA 支持哪些操作系统？
A：模型本身不依赖特定操作系统，只要环境能提供屏幕截图和键盘鼠标模拟接口即可运行。官方 Demo 在 Linux 上验证，Windows 和 macOS 可通过 PyAutoGUI 等库适配。

Q：部署 Qwen-CUA 需要什么样的硬件？
A：397B-A17B 模型推荐使用 NVIDIA A100 80GB 或同等算力 GPU，显存建议不低于 80GB。若使用量化版本或 Max 版本，需根据实际情况调整。消费级显卡（如 RTX 4090 24GB）难以直接运行，可尝试模型蒸馏或切片部署。

Q：Qwen-CUA 与 OpenAI Operator 相比有什么优势？
A：Qwen-CUA 是开源模型，技术报告与 Demo 完全公开，支持本地部署和二次开发；在 OSWorld 基准上得分（86.2）显著高于 Operator 的历史数据（约 38.1%）；纯视觉感知使其能操控任意图形界面，而 Operator 主要针对浏览器优化。

Q：模型是否支持中文界面操作？
A：Qwen-CUA 的视觉编码器经过多语言训练，对中文界面元素（如按钮文字、菜单项）具备识别能力。实际效果取决于界面清晰度和字体规范，建议在中文场景下进行针对性测试。

Q：如何将 Qwen-CUA 集成到现有自动化流水线？
A：项目提供 Python API 调用示例，可通过截图输入（图像数组或文件路径）和动作输出（键盘鼠标事件列表）构建闭环。支持异步推理和批量任务调度，可封装为 RESTful API 或 gRPC 服务。

Q：Qwen-CUA 的上下文长度支持多少？
A：官方支持 256K 上下文窗口，得益于混合注意力机制，长序列吞吐量较传统架构提升 19 倍。理论上可覆盖数小时的操作历史，但实际使用中建议根据任务复杂度合理控制上下文长度以平衡显存占用。

9. 项目地址

• GitHub 仓库： https://github.com/xlang-ai/Qwen-CUA
• 技术论文： https://github.com/xlang-ai/Qwen-CUA/blob/main/paper/Qwen-CUA.pdf
• 官方组织主页： https://github.com/xlang-ai （XLang Lab 组织，可关注后续更新）