Qwen-UI-Agent – 阿里通义推出的 GUI 智能体基座模型

1. Qwen-UI-Agent是什么

Qwen-UI-Agent 是阿里巴巴通义团队推出的 GUI 智能体基座模型，能够在手机、电脑和网页端像真人一样操作界面。该模型基于 100 余台真实设备和 150 多个应用的真机集群训练，支持图形界面与命令行混合执行，可完成跨应用的复杂长程任务。内置分层安全机制，对危险请求直接拒绝，对支付、删除等敏感操作主动交还用户确认。在 MobileWorld、WebArena 等多项权威基准上，其性能表现优于或持平 GPT-5.6、Claude Opus 等旗舰模型，是当前真实世界可用性领先的 GUI Agent 之一。

技术定位与领域： Qwen-UI-Agent 属于多模态智能体与图形用户界面自动化交叉领域，专注于在真实数字设备上模拟人类操作行为，实现跨平台、跨应用的复杂任务自动化。它不同于传统 RPA 工具依赖脚本和固定规则，而是基于大模型的推理能力实现动态决策和自适应操作，覆盖手机、电脑、浏览器三大终端。研发背景： 由阿里巴巴通义团队基于其在通义千问系列大模型上的深厚积累研发，旨在弥合模拟环境与真实设备之间的性能鸿沟，推动 GUI Agent 从实验室走向实用。团队此前在 MAI-UI 等项目中积累了移动端 GUI 智能体的经验，Qwen-UI-Agent 是这一方向的集大成者。核心价值： 解决了现有 GUI Agent 在真实环境中可用性低、长程任务稳定性差、安全机制薄弱等核心痛点，提供了一种可直接部署于手机、电脑、浏览器的统一智能体解决方案。其真机训练和混合执行能力使得模型在真实世界任务中的成功率大幅提升，同时通过分层安全机制保障操作的可控性。技术特点： 采用真机训练环境、混合动作空间（GUI+CLI）、长程在线强化学习以及分层安全对齐等创新技术，在多项基准上达到领先水平。特别是 Batched Actions 机制支持单次决策并行输出多个动作，以及约 10,000 并发环境的长程在线 RL，在业界尚属首创，显著提升了任务执行效率和长程稳定性。

2. 主要功能

• 真机多应用工作流： 模型在 100 余台真实手机和 150 多个真实应用上训练，能够跨应用执行复杂长链任务，例如从地图查找餐厅、到大众点评比对评分、再到钉钉创建日程，全程无需人工干预。这种基于真机轨迹的训练方式直接弥合了模拟环境与真实设备之间的性能鸿沟，使模型在真实环境中的成功率远高于仅用模拟数据训练的同类模型。

• 跨设备 GUI 操作： 支持在 Android 手机、Windows/macOS 电脑以及主流浏览器上自动完成点击、输入、滑动等界面交互，统一了不同平台的交互范式。模型能够自适应不同屏幕分辨率、布局和操作系统风格，通过多模态 grounding 技术实现精准的元素定位与操作，无需针对每类设备单独适配。

• GUI + CLI 混合执行： 模型同时掌握图形界面操作和命令行指令，并引入 Batched Actions 机制，允许单次决策并行输出多个动作。在电脑任务中，CLI 操作占比近半，整体执行步数相比纯 GUI 方式缩短约 58%，大幅提升任务完成效率。这种混合执行方式使得模型既能操作传统 GUI 应用，也能直接运行脚本和系统命令，拓展了自动化边界。

• 长程任务处理： 依托长程在线强化学习框架，模型能够稳定执行超过 100 步的复杂任务，如跨网站数据采集、分析报告生成等。约 10,000 个并发环境并行 rollout 配合自适应课程学习，从简单任务开始逐步增加难度，持续攻克高难度长程任务。在 MobileWorld 等基准上，其长程任务成功率显著领先于其他通用模型。

• 精准界面定位： 在 ScreenSpot-Pro 等 grounding 基准上刷新多项 SOTA，模型能够精确识别屏幕元素的坐标和类型，即使面对复杂界面布局（如重叠元素、动态内容）也能准确点击目标区域。这一能力基于多模态特征对齐和细粒度位置编码，是实现可靠 GUI 操作的基础前提。

• 安全边界管控： 内置分层安全机制：第一层通过前置分类器直接拒绝违法或高风险请求（如暴力、诈骗内容）；第二层对支付、数据删除、隐私授权等敏感操作，在关键节点触发 ask_user 函数，主动暂停执行并等待用户确认，确保危险请求不执行、敏感操作不擅自决定。这种设计兼顾了自动化效率与用户控制权。

3. 如何使用

1. 阅读技术报告： 访问项目官网提供的技术论文（PDF），详细了解 Qwen-UI-Agent 的模型架构、训练方法以及在 8 项基准上的评测结果。建议重点关注真机训练环境搭建、混合动作空间设计、长程在线强化学习算法以及安全对齐策略等章节，这些是理解模型设计思路和性能边界的核心内容。

2. 浏览项目主页： 打开项目官网（tongyi-mai.github.io/Qwen-UI-Agent/），观看 5 个真实场景的真机演示视频，包括跨设备发票整理、航班取消主动应急、本地生活探店等案例。这些视频直观展示了模型在实际环境中的操作流程和效果，有助于评估其适用性。

3. 跟踪开源仓库： 关注 GitHub 仓库 Tongyi-MAI/MAI-UI，获取后续可能发布的模型权重、推理代码和部署文档。当前仓库已提供部分基准评测代码和 Docker 环境配置，未来将更新模型权重和完整推理管线。建议 Star 仓库以便及时接收更新通知。

4. 运行基准评测： 使用配套仓库 Tongyi-MAI/MobileWorld 提供的 Docker 环境，在本地复现 MobileWorld 等基准的评测流程。需要具备 NVIDIA GPU（建议显存 24GB 以上）和 Docker 环境，按照仓库 README 中的步骤执行 docker-compose up 即可启动评测容器，获得可复现的评测结果。这一过程可用来验证模型性能或对比不同配置的效果。

5. 部署推理服务（待模型发布后）： 一旦模型权重正式开源，可使用 Hugging Face Transformers 或 vLLM 等框架加载模型，并通过 REST API 对外提供 GUI 操作服务。建议使用至少 80GB 显存的 GPU（如 A100 80GB）以保证推理速度；若使用消费级显卡（RTX 4090 24GB），可通过量化或批处理优化，但吞吐量会有所下降。部署时需注意配置安全过滤模块和 ask_user 回调接口。

4. 优缺点分析

5. 同类工具对比

在需要本地部署、定制化开发以及对隐私要求较高的场景下，Qwen-UI-Agent 是更合适的选择。其开源特性和真机训练带来的真实环境鲁棒性，使其在跨应用长程任务自动化方面具有独特优势，尤其适合企业内部流程自动化、研究机构进行二次开发以及需要深度定制GUI操作逻辑的团队。此外，其混合执行能力在桌面端任务中效率优势明显，适合需要同时操作 GUI 和命令行的复杂工作流。

如果追求快速集成和成熟生态，且任务复杂度较低，Claude Opus 和 GPT-5.6 等闭源 API 产品更为便捷。它们提供稳定的 API 服务和丰富的文档支持，适合中小团队快速构建 GUI 自动化原型。但需要注意，这些通用模型在长程任务稳定性和真实环境适应性上可能不及专门设计的 Qwen-UI-Agent，且存在数据隐私和 API 成本问题。对于移动端为主的场景，Gemini 3.1 Pro 的 Android 自动化能力值得考虑，但其跨平台和 CLI 混合能力较弱。

6. 编辑总结

Qwen-UI-Agent 在 GUI 智能体领域展现了显著的技术创新。其真机训练环境直接采集真实设备上的操作轨迹，从根本上解决了模拟环境与真实世界之间的性能鸿沟，这一思路为后续研究树立了重要标杆。混合动作空间的设计将 GUI 点击与 CLI 命令统一，并引入 Batched Actions 批量动作机制，在电脑任务中节省近 60% 的执行步数，体现了工程优化的深度。长程在线强化学习框架支持超 100 步的端到端训练，结合约 10,000 个并发环境并行 rollout 和自适应课程学习，使模型能够攻克此前难以实现的复杂长程任务。安全对齐方面，分层安全机制将危险请求拦截和敏感操作确认内嵌于执行链路，兼顾了自动化效率与用户控制权，这在真实部署场景中尤为重要。

从实用价值看，Qwen-UI-Agent 在 MobileWorld、WebArena、ScreenSpot-Pro 等 8 项核心基准上达到领先水平，其实机演示案例展示了从本地生活探店到企业办公自动化的广泛适用性。对于研究者和开发者而言，该模型提供了一个强大的基础平台，可用于探索 GUI 自动化的前沿技术，如跨设备统一操作、混合执行优化、安全对齐等。对于企业用户，其跨设备、跨应用的统一操作能力有望显著提升办公效率和流程自动化水平，尤其是在需要处理多应用长链任务的场景中。不过，目前模型权重尚未完全开源，文档和社区资源仍在建设中，这在一定程度上限制了其普及速度和二次开发深度。未来，随着开源生态的完善、更多应用案例的积累以及推理效率的进一步优化，Qwen-UI-Agent 有望成为 GUI 智能体领域的重要基础设施，推动数字员工从概念走向大规模实用。

7. 应用场景

• 本地生活探店： 用户发出“推荐适合约会的餐厅”指令后，模型自动打开高德地图搜索附近餐厅，切换至大众点评查看评分和用户评价，再打开小红书阅读探店笔记，最后综合信息生成推荐列表并发送给用户。整个过程无需用户手动切换应用，实现了从信息搜索到决策支持的一站式自动化。

• 行程会议联动： 用户告知会议时间和地点，模型自动查询 12306 获取高铁班次，计算从火车站到会议地点的地铁通勤时间，然后在钉钉创建包含提醒的会议日程，并提前预约打车。实现从出行规划到日程管理的全链路自动化，减少人工操作步骤。

• 深度调研报告： 模型跨多个网站采集公司财报数据，运行本地 Python 脚本进行数据分析，自动生成包含图表的 Excel 表格、PPT 演示文稿和 Word 文档，最终将交付物打包发送。支持超过 100 步的稳定执行，适合研究分析、竞品调研等需要多源数据整合的场景。

• 航班取消主动应急： 当模型检测到航班取消的短信或邮件通知后，主动搜索当天剩余航班和高铁方案，综合考虑时间、价格和行程衔接，推荐最优替代方案并展示给用户确认。一旦确认，自动完成改签或退票操作。体现了从被动响应到主动服务的升级，显著提升用户体验。

8. 常见问题FAQ

Q：Qwen-UI-Agent 是否完全开源？
A：目前项目已开源技术报告和部分基准评测代码，但模型权重和完整推理代码尚未正式发布。GitHub 仓库 Tongyi-MAI/MAI-UI 将后续更新，请关注官方公告。预计模型权重会以开源协议发布，具体条款待确认。

Q：运行 Qwen-UI-Agent 需要什么样的硬件配置？
A：训练阶段需要大量真机集群（100+ 台手机），普通用户无法复现。推理阶段建议使用 NVIDIA A100（80GB）或同等算力的 GPU，显存 24GB 以上的消费级显卡（如 RTX 4090）也可运行，但速度会显著下降。具体依赖待模型发布后明确，建议关注官方推荐配置。

Q：Qwen-UI-Agent 支持哪些操作系统和平台？
A：模型在 Android 手机、Windows/macOS 电脑以及主流浏览器（Chrome、Edge）上验证过，能够操作这些平台上的 GUI 界面。未来可能扩展至 iOS 等更多平台，但当前主要聚焦于 Android 和桌面端。

Q：Qwen-UI-Agent 如何保证操作的安全性？
A：内置分层安全机制：第一层通过前置分类器直接拒绝违法或高风险请求（如暴力、诈骗内容）；第二层对支付、数据删除、隐私授权等敏感操作，在关键节点触发 ask_user 函数，暂停执行并等待用户确认，确保敏感操作不擅自执行。用户可自定义敏感操作列表。

Q：Qwen-UI-Agent 与普通 AI 助手（如 ChatGPT）有什么区别？
A：普通 AI 助手主要提供文本对话和知识问答，而 Qwen-UI-Agent 能够直接操作手机、电脑和网页的图形界面，像人类一样点击、输入、滑动，完成跨应用的复杂任务。它更接近一个“数字员工”，能够代理用户完成实际的操作流程，而非单纯提供信息。

Q：能否将 Qwen-UI-Agent 用于商业产品？
A：目前模型权重尚未正式开源，商业使用条款待发布时明确。如果采用类似 Apache 2.0 的开源协议，则允许商业使用。建议关注官方 GitHub 仓库的 LICENSE 文件，并在模型发布后遵守相应条款。

9. 项目地址

• 产品官网： https://tongyi-mai.github.io/Qwen-UI-Agent/
• GitHub 仓库： https://github.com/Tongyi-MAI/MAI-UI
• 技术论文： https://tongyi-mai.github.io/Qwen-UI-Agent/Qwen-UI-Agent-Technical-Report.pdf