Qwen3.7-Plus – 阿里通义推出的智能体多模态大模型

导读摘要:
Qwen3.7-Plus是阿里云通义千问团队推出的新一代多模态大模型,以“智能体基座”为核心定位,将视觉感知、语言理解、代码生成与GUI操控整合为统一的工作流闭环。该模型能够实时理解真实世界场景、读取屏幕内容并执行多步操作、基于视觉参考生成可执行代码,在单一智能体循环中无缝融合命令行(CLI)与图形界面(GUI)交互。作为全能型编码智能体与生产力助手,Qwen3.7-Plus覆盖从前端原型设计到复...
1. Qwen3.7-Plus是什么
Qwen3.7-Plus是阿里云通义千问团队推出的新一代多模态大模型,以“智能体基座”为核心定位,将视觉感知、语言理解、代码生成与GUI操控整合为统一的工作流闭环。该模型能够实时理解真实世界场景、读取屏幕内容并执行多步操作、基于视觉参考生成可执行代码,在单一智能体循环中无缝融合命令行(CLI)与图形界面(GUI)交互。作为全能型编码智能体与生产力助手,Qwen3.7-Plus覆盖从前端原型设计到复杂软件工程自动化、再到多步骤工作流编排的全方位任务,并具备跨框架泛化能力,可在Claude Code、OpenClaw、Qwen Code等多种部署框架下保持稳定表现。

技术定位与领域: 属于多模态大模型与智能体技术交叉领域,定位为“多模态交互混合智能体基座模型”,区别于传统纯文本或视觉大模型,它强调在单一智能体循环中完成“看、想、写、做、验”的闭环。其应用方向涵盖视觉编程、GUI自动化、多模态知识问答、真实世界感知推理等。
研发背景: 由阿里云通义千问团队开发,基于其在大语言模型(Qwen系列)和多模态理解上的长期积累。研发动机源于当前AI模型在复杂软件工程任务中缺乏端到端自主能力——模型能看懂界面或生成代码,但无法将视觉理解、代码执行、工具调用与验证反馈连贯集成。Qwen3.7-Plus旨在填补这一空白,成为能自主完成从需求到交付全流程的智能体。
核心价值: 解决了传统多模态模型“看得懂但做不了”的痛点,将视觉感知、代码生成、GUI操作、搜索增强和自主执行统一为可交互的智能体工作流。实际创新价值在于:① 视觉编程能力(从图像到代码的端到端转化)接近GPT-5.4水平;② GUI操作能力(ScreenSpot Pro 79.0、AndroidWorld 81.0)处于业界第一梯队;③ 支持超长时自主运行(案例显示11+小时持续运行,生成代码超万行)。
技术特点: 采用视觉与语言统一编码的基座架构,通过代码解释器集成实现视觉问题的可计算表示和自主求解;在GUI自动化中融合控件定位、任务规划与多步交互;搜索增强机制将视觉输入与外部知识检索结合,提升开放域问答准确性。跨框架泛化能力使其在不同部署环境下保持性能一致性。
2. 主要功能
多模态交互混合智能体: 统一处理图像、视频、屏幕截图、网页和文本输入,在单一智能体循环中完成GUI操作、CLI命令执行和工具调用。用户只需给出一个视觉目标(如“复刻这个应用的登录界面”),模型即可自主规划步骤、调用代码解释器、执行测试并迭代优化。
视觉智能体: 结合视觉理解、代码解释器和搜索增强,解决视觉谜题(如找不同、华容道)、真实世界问答和复杂推理任务。模型能识别图像内容,进行空间建模、路径搜索、状态推演,并自主编写代码进行验证,输出结构化答案。
视觉编程: 从图像或视频生成SVG、网页和交互式前端代码,实现“所见即所得”的端到端转化。在QwenVision2Code基准上得分1772.0,接近GPT-5.4的1884.0,显著领先Claude-Opus-4.6(1518.0)和Gemini-3.1 Pro(1632.0)。
GUI智能体: 理解移动端和桌面端界面,进行控件定位、任务规划和多步操作。在ScreenSpot Pro(79.0)和AndroidWorld(81.0)上表现突出,支撑从“看懂界面”到“操作界面”再到“构建界面”的完整能力链。
真实世界感知与推理: 覆盖真实场景理解、文档图表分析、OCR、视频事件识别和驾驶场景感知。在RealWorldQA(86.9)、VideoMMMU(88.0)等基准上表现优异,能结合视觉证据与外部知识回答开放域问题。
长时自主运行与跨框架泛化: 支持长时间持续运行(案例显示11+小时),累计生成代码超10,000行,触发调用超1,000次。无论通过Claude Code、OpenClaw还是Qwen Code框架部署,均能保持稳定性能,无需针对特定框架调整。
搜索增强的多模态知识问答: 将视觉输入与外部知识检索结合,先从图像中提取关键实体、场景和文字线索,再通过搜索获取外部知识,综合视觉证据和检索结果给出答案。在MMSearchPlus基准上得分41.4,远超GPT-5.4的19.7。
3. 如何使用
环境要求与前置条件: 用户无需本地部署硬件,通过云端API访问即可。推荐使用阿里云百炼平台或Qwen Studio官网,网络环境需稳定。若需本地部署,建议配置NVIDIA A100或同等算力GPU,操作系统为Linux(Ubuntu 20.04+)或Windows 10/11,需安装Python 3.10+和PyTorch 2.0+。
访问官方平台: 打开阿里云百炼平台(https://bailian.console.aliyun.com)或Qwen Studio(https://qwen.studio),注册并登录阿里云账号。在模型市场中搜索“Qwen3.7-Plus”,选择对应版本。
配置调用参数: 根据任务需求配置模型参数,包括最大Token数(建议4096以上)、温度(编码任务建议0.2,创意任务建议0.7)、是否启用代码解释器、是否开启搜索增强等。对于GUI任务,需上传目标截图或输入URL。
输入多模态内容并执行任务: 支持上传图像、视频、屏幕截图或网页链接,结合文本指令进行交互。例如,上传一个UI设计图并输入“生成对应的HTML+CSS代码”,模型将自动调用视觉编程能力。对于复杂任务,可选择对应的智能体模式(Visual Agent、GUI Agent、Visual Coding等),模型将自动完成感知、推理与执行闭环。
检查与迭代: 模型输出结果后,用户可进行人工审查或要求模型自我验证。对于代码生成任务,模型可自动执行并返回运行结果;对于GUI操作任务,模型可模拟操作并截图反馈。若结果不满足要求,可通过自然语言指令要求模型调整。
注意事项与最佳实践: ① 对于超长任务(如全链路APP开发),建议分阶段输入需求,避免单次上下文溢出;② 视觉输入分辨率建议不低于512×512,以保证控件识别精度;③ 使用搜索增强时需确保网络通畅,并注意外部知识的时效性;④ 跨框架部署时,建议保持模型版本一致,避免因框架差异导致行为偏差。
4. 优缺点分析
| 优点 |
|---|
| 多模态智能体闭环能力: 将视觉感知、代码生成、GUI操作和工具调用整合为统一工作流,实现复杂任务从理解到交付的端到端自动化,显著提升效率。 |
| 视觉编程领先: 在QwenVision2Code基准上得分1772.0,接近GPT-5.4的1884.0,显著领先其他竞品,能将设计图直接转化为可执行代码,降低开发成本。 |
| GUI操作能力第一梯队: ScreenSpot Pro 79.0、AndroidWorld 81.0,在界面理解和多步操作任务上表现突出,支撑移动端和桌面端自动化。 |
| 搜索增强显著提升开放域问答: MMSearchPlus得分41.4,远超GPT-5.4的19.7,能有效结合视觉证据与外部知识,回答需要实时信息的视觉问题。 |
5. 同类工具对比
| 对比维度 | Qwen3.7-Plus | GPT-5.4 | Claude-Opus-4.6 |
|---|---|---|---|
| 核心架构 | 多模态交互混合智能体基座,统一视觉与语言编码 | 通用多模态大模型,侧重文本与图像理解 | 多模态模型,强调安全与长上下文 |
| 视觉编程能力 | QwenVision2Code 1772.0 | 1884.0 | 1518.0 |
| GUI操作能力 | ScreenSpot Pro 79.0, AndroidWorld 81.0 | 67.4, 未测试 | 未公布 |
| 视觉推理能力 | BabyVision 70.4/64.7 | 53.1 | 未公布 |
| 搜索增强问答 | MMSearchPlus 41.4 | 19.7 | 未公布 |
| 终端编码能力 | Terminal Bench 2.0 70.3 | 未测试 | 未公布 |
| 跨框架泛化 | 支持Claude Code、OpenClaw、Qwen Code等 | 仅限OpenAI API | 仅限Anthropic API |
| 长时自主运行 | 11+小时,万行代码 | 未公开 | 未公开 |
| 开源协议 | 部分开源(模型权重未完全开放) | 闭源 | 闭源 |
选型建议: 对于需要端到端GUI自动化和复杂软件工程自动化的场景(如移动应用测试、桌面应用复刻),Qwen3.7-Plus凭借其GUI操作能力和长时自主运行优势是最佳选择,尤其适合需要跨框架部署的团队。若任务聚焦于纯视觉编程(如从设计图生成前端代码)且对准确率要求极高,GPT-5.4在QwenVision2Code上略胜一筹,但差距不大。对于需要强安全性和长上下文处理的场景,Claude-Opus-4.6可能更合适,但其GUI和视觉编程能力未公开,需进一步测试。Gemini-3.1 Pro在工具调用和多模态融合上表现均衡,但视觉编程和GUI操作能力弱于前两者。
6. 编辑点评
Qwen3.7-Plus代表了多模态大模型从“理解”向“行动”的重要演进。技术创新性方面,其最大亮点在于将视觉感知、代码生成、GUI操控和工具调用整合为单一智能体闭环,而非传统模型那样仅输出文本或图像。这种架构设计使得模型能够自主完成“看界面→理解意图→编写代码→执行操作→验证结果”的完整循环,在软件工程自动化领域具有里程碑意义。从基准数据看,视觉编程能力(QwenVision2Code 1772.0)已逼近GPT-5.4,GUI操作能力(ScreenSpot Pro 79.0)大幅领先,搜索增强问答(MMSearchPlus 41.4)更是拉开近一倍差距,说明其在多模态智能体关键能力上已跻身第一梯队。
实用价值方面,Qwen3.7-Plus最直接的受益者是软件开发者、测试工程师和产品经理。它可以将设计稿直接转化为可运行的前端代码,自动完成GUI测试用例生成与执行,甚至实现从需求文档到完整应用的端到端开发。长时自主运行能力(11+小时)意味着它可用于夜间自动化构建或持续集成流水线,显著提升研发效率。对于AI研究者,其跨框架泛化能力提供了灵活的部署选项,无需绑定特定平台。
适用人群定位为:① 专业软件开发者,需要快速将视觉原型转化为代码;② 自动化测试工程师,需要智能体自动操作GUI并验证功能;③ AI应用开发者,需要构建多模态智能体工作流;④ 产品经理,需要快速验证设计概念。需要注意,当前版本对中文场景的优化尚未达到阿里内部其他中文专用模型水平,国内用户在使用中文界面和中文视觉问答时可能需额外调整。
未来发展潜力巨大。随着模型权重进一步开放和中文场景优化,Qwen3.7-Plus有望成为多模态智能体领域的标杆。其“智能体基座”定位也暗示了未来可能支持更多工具和传感器(如摄像头实时流、机器人控制),向具身智能延伸。但长上下文稳定性和云端延迟是两个需要持续优化的方向。
7. 应用场景
智能软件开发全链路自动化: 从需求文档(文本或设计图)输入开始,Qwen3.7-Plus自动生成代码框架、编写业务逻辑、创建测试用例、执行GUI自动化测试,并根据测试结果迭代优化。适用于快速原型开发、持续集成/持续交付(CI/CD)流水线,可大幅缩短从需求到交付的周期。
桌面应用复刻与迁移: 用户提供目标应用的UI截图或录屏,模型自主理解应用布局、交互逻辑和功能细节,生成对应源码并接入真实API,实现高保真复刻。例如,将一个老旧桌面应用迁移到Web端,或根据竞品设计复刻核心功能。
视觉内容生成与设计交付: 将设计参考图(如Figma原型、手绘草图)转化为可执行的SVG、HTML/CSS或React组件代码。设计师只需提供视觉参考,模型即可生成符合设计规范的代码资产,降低从视觉到代码的转化成本。
多模态知识问答与智能助手: 结合图像、视频与网络搜索,回答开放世界的视觉问题。例如,用户上传一张历史建筑照片,模型识别建筑风格、搜索背景资料并给出详细解说;或上传商品图片,模型识别品牌、搜索价格和评价,辅助购物决策。
自动驾驶与具身智能研究: 在驾驶场景中,模型理解动态场景、交通参与者(行人、车辆、标志)和空间关系,可用于自动驾驶感知模块的预训练或仿真测试。在具身智能领域,可作为机器人的“大脑”,通过摄像头感知环境并规划动作序列。
教育与培训: 学生上传一道物理题或数学题的手写图片,模型识别题目内容、理解物理常识和空间关系,逐步给出解题思路和答案。可用于自动批改作业、智能辅导等场景。
8. 常见问题FAQ
Q:Qwen3.7-Plus是否需要本地GPU部署?
A:不需要。官方提供云端API服务,通过阿里云百炼或Qwen Studio即可访问。如需本地部署,目前仅支持部分框架(如通过vLLM部署),且推荐使用NVIDIA A100以上GPU,模型权重未完全开源,本地部署需申请权限。
Q:模型支持中文输入和输出吗?
A:支持中文文本输入,但在GUI操作中,对中文界面元素的识别准确率可能低于英文界面。视觉问答和代码生成任务中,中文指令理解良好,但代码注释和输出建议使用英文以保持一致性。阿里内部有中文专用模型,若任务纯中文,可考虑Qwen-Plus系列。
Q:在GUI操作中,模型能否处理动态页面(如滚动加载、弹窗)?
A:可以。模型具备多步交互能力,能够识别滚动条、弹窗、下拉菜单等动态元素,并规划点击、滚动、输入等操作。但在复杂动态页面(如实时更新的图表)中,需确保截图或视频帧率足够高(建议每秒1帧以上)。
Q:视觉编程生成的代码质量如何?是否需要人工修改?
A:在QwenVision2Code基准上得分1772.0,接近GPT-5.4,生成的SVG、HTML/CSS代码通常可直接使用。但对于复杂交互逻辑(如状态管理、API调用),建议人工审查并优化。模型支持迭代修改,可要求“增加动画效果”或“优化响应式布局”。
Q:模型在长时运行中是否会遗忘上下文?
A:案例显示可稳定运行11+小时,但理论上超长对话(超过上下文窗口)可能导致遗忘。建议将任务分阶段执行,每阶段结束后保存中间结果,下一阶段重新加载。也可利用外部存储(如数据库)记录关键信息。
Q:如何获取模型的最新更新和社区支持?
A:关注阿里云通义千问官方博客(qwen.ai/blog)和GitHub仓库(github.com/QwenLM)。社区讨论可在阿里云开发者论坛或HuggingFace模型页面进行。目前尚无官方Discord群组,但可通过阿里云工单系统获取技术支持。
9. 项目地址
- 项目官网与博客: https://qwen.ai/blog?id=qwen3.7-plus
- 阿里云百炼平台: https://bailian.console.aliyun.com
- GitHub组织: https://github.com/QwenLM (Qwen系列模型开源仓库,部分代码可参考)
版权声明:本文部分内容由 AI 辅助生成并经人工校准,版权归本站所有,未经允许禁止任何形式的转载。



