ComAct – 上海AI Lab等推出软件自动化操作的研究范式

1. ComAct是什么

ComAct（COM-as-Action）是由上海人工智能实验室、南洋理工大学等机构的研究者提出的一种重新定义专业软件自动化操作的研究范式。该范式将Windows平台的Component Object Model（COM）识别为一种统一的可执行抽象，从而将专业软件的交互方式从传统脆弱的顺序性视觉控制（GUI-based）转变为确定性的程序合成。这直接解决了GUI-based智能体在长程任务中因依赖像素定位而导致的错误累积问题，以及API-based方法受限于异构协议和闭源接口的困境。通过利用COM接口作为统一的语义化编程接口，ComAct能够直接调用软件内部的结构化编程接口，实现对如SolidWorks、AutoCAD、Inventor等工业级软件的精确、鲁棒的操作，为专业软件的智能化自动化开辟了全新的技术路径。

技术定位与领域： ComAct属于AI Agent和软件自动化交叉领域的前沿研究，其核心定位是解决专业软件（尤其是工业CAD软件）的智能化操作难题。它不同于传统的基于屏幕截图和鼠标键盘模拟的GUI Agent，也不同于需要公开API的软件集成方案，而是创造性地利用Windows系统底层的COM组件模型作为通用接口，实现了一种“程序合成”式的自动化范式。

研发背景： 该范式由Jiaxin Ai等研究者提出，来自上海人工智能实验室、南洋理工大学等顶尖机构。其研发动机源于当前AI Agent在操作专业软件时面临的“两难困境”：GUI Agent鲁棒性差、长程任务成功率极低；而API Agent则受限于商业软件不公开或不存在标准化API的现状。COM接口作为Windows生态中历史悠久但未被充分利用的自动化接口，为突破这一瓶颈提供了理想的技术基础。

核心价值： ComAct的核心价值在于从根本上解决了AI Agent在专业软件自动化中的“鲁棒性-通用性”矛盾。它通过将交互从脆弱的像素级操作提升至语义化的对象模型操作，消除了长程任务中的级联错误，在ComCADBench基准测试中，其长程多任务管道的端到端成功率超过80%，而传统GUI-based模型几乎为0%。同时，COM接口的广泛存在性使其能够无缝跨越SolidWorks、AutoCAD、Microsoft Office等异构软件，实现跨应用的复杂工作流编排。

技术特点： ComAct的技术特点体现在其独创的“三阶段渐进式训练框架”上，包括文本到代码的监督微调、基于多轮交互轨迹的Agent SFT、以及基于Chamfer Distance连续几何奖励的GRPO强化学习。此外，其配套的ComForge训练平台支持在Docker化Windows容器中并发托管1000+个真实软件环境，为大规模并行训练提供了基础设施支撑。

2. 主要功能

• COM-as-Action 范式转换： 这是ComAct最核心的创新。它将专业软件交互从依赖像素定位和顺序性视觉控制的GUI操作，彻底转变为生成单一确定性COM脚本的程序合成过程。通过直接调用Windows COM接口，智能体能够操控软件内部的对象模型，而非模拟鼠标点击，从根本上消除了长程任务中的错误累积问题。

• ComCADBench 基准测试： 这是首个专门评估智能体操作真实工业CAD软件的基准测试集，包含1000个任务。它覆盖了SolidWorks、Inventor、AutoCAD三大主流平台，以及3D建模、2D草图、装配、工程图等七项核心工程活动，为衡量专业软件自动化水平提供了标准化的评估标尺。

• ComActor 自校正智能体： 采用三阶段渐进式训练框架：第一阶段进行文本到代码的监督微调，使模型学会生成语法有效的COM脚本；第二阶段基于多轮交互轨迹进行Agent SFT，让智能体学会从执行失败中恢复；第三阶段引入GRPO强化学习，结合Chamfer Distance几何奖励，直接优化任务级几何保真度。这使得智能体具备“生成-执行-诊断-重写”的闭环能力。

• ComForge 可扩展训练平台： 基于Docker化Windows容器构建，支持并发托管1000+个预装真实CAD软件的独立环境。平台提供三种动作类型：code_execute（执行COM脚本）、gui_action（鼠标/键盘操作）和reset（重置环境），为大规模并行训练与评估提供了高效、可复现的基础设施。

• 跨应用工作流整合： COM作为Windows生态中原生的语义化编程接口，天然支持跨多种专业软件的协同操作。ComAct能够利用统一的COM接口，串联Microsoft Office、Adobe套件、工业CAD等异构软件，实现如“在CAD中建模后自动更新Excel物料清单”的复杂跨应用工作流编排。

• 长程任务鲁棒执行： 通过生成单一确定性脚本替代传统GUI Agent所需的数百个易出错的顺序操作，ComAct在长程多任务管道中保持了80%以上的端到端成功率。这种设计从根本上消除了GUI-based方法中“一步错、步步错”的级联失效问题，展现了极强的长程规划与执行韧性。

3. 如何使用

1. 环境准备与部署（ComForge平台）： 首先需要部署Docker化Windows容器环境。ComForge平台支持在容器中预装目标专业软件，如SolidWorks、AutoCAD、Inventor等。该平台能够并发托管1000+个并行实例，每个实例都是独立的、可复现的运行环境，适用于大规模训练或批量评估任务。

2. 任务指令输入： 用户向ComActor智能体输入自然语言指令，例如“创建一个带圆角的立方体并生成工程图”。智能体接收到指令后，会将其解析为对应的COM操作目标，明确需要调用的软件内部对象模型和操作序列。

3. COM脚本生成： ComActor基于其三阶段训练能力，自动生成语法有效的COM脚本。这些脚本通常以Python语言调用COM接口的形式呈现，直接操控软件内部的对象模型，而非模拟鼠标点击。智能体会根据任务指令生成完整的、可执行的代码块。

4. 执行与反馈循环： 生成的COM脚本在ComForge环境中执行。执行后，智能体读取终端返回的执行结果或错误traceback。如果执行失败，智能体能够自主诊断错误原因，并重写失败步骤，形成“生成-执行-反馈-修正”的自校正闭环。这一过程无需人工干预。

5. 结果验证与输出： 任务完成后，智能体输出最终生成的文件，如3D模型、工程图纸等。通过第三阶段GRPO强化学习中引入的连续几何奖励机制（基于Chamfer Distance），系统能够自动验证输出结果的几何保真度，确保“语法正确”的脚本同时产生“几何正确”的结果。

6. 跨应用工作流编排： 利用COM的统一接口，用户可以串联多个专业软件完成复杂的管道任务。例如，在CAD中完成建模后，自动导出数据，并在Excel中生成物料清单（BOM表），实现全流程的自动化编排。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要操作SolidWorks、AutoCAD等工业级CAD软件，且对长程任务鲁棒性有极高要求的场景，ComAct是目前最合适的选择。其基于COM接口的程序合成方式从根本上解决了GUI Agent在复杂任务中的错误累积问题。然而，如果任务主要涉及Web应用或通用桌面软件，且对跨平台支持有要求，CogAgent或ScreenAgent等视觉-based Agent可能更易部署。对于需要操作Windows原生应用（如Office、文件管理器）的场景，UFO结合了UI Automation和视觉能力，提供了较好的折中方案。

6. 编辑点评

ComAct的出现，标志着AI Agent在专业软件自动化领域迈出了从“模拟人类操作”到“直接调用软件能力”的关键一步。其技术创新性体现在对Windows COM组件模型的创造性利用上——这个在Windows生态中存在数十年的底层接口，被首次系统性地用作AI Agent的统一可执行抽象。三阶段渐进式训练框架的设计也极具巧思，特别是第三阶段引入的基于Chamfer Distance的GRPO强化学习，直接优化几何保真度，解决了“代码正确但结果错误”这一程序合成领域长期存在的痛点。

从实用价值来看，ComAct在工业CAD自动化场景中展现出的80%+长程任务成功率，与传统GUI Agent几乎为0%的成功率形成了鲜明对比。这意味着在真实的工程设计流程中，AI Agent首次具备了“可信任”的自动化能力，而非仅仅是“可演示”的玩具。对于需要大量重复性建模、设计验证、跨软件数据流转的制造业和工程设计行业，ComAct有潜力显著提升工作效率，减少人工操作错误。

ComAct的适用人群主要包括：工业CAD软件的高级用户和自动化工程师、企业IT部门的流程自动化专家、以及AI Agent领域的研究人员。对于个人开发者或小型团队而言，其依赖Docker化Windows环境和商业软件许可的部署方式可能构成一定门槛。

展望未来，ComAct的发展潜力巨大。一方面，随着对更多Windows软件COM接口的挖掘和适配，其应用场景可以从CAD扩展到仿真分析、电子设计自动化（EDA）等领域。另一方面，该范式能否被扩展到非Windows平台（如macOS的AppleScript或Linux的D-Bus），将是其能否成为通用软件自动化标准的关键。此外，与大型语言模型（LLM）的进一步深度融合，有望实现更高级的“自然语言驱动的软件工程自动化”。

7. 应用场景

• 工业CAD自动化设计： 在SolidWorks、AutoCAD、Inventor等真实工业CAD软件中，用户只需输入自然语言需求（如“创建一个带圆角的立方体”），ComActor即可自动生成COM脚本执行操作，覆盖3D建模、2D草图、装配体设计、工程图生成等全流程工程活动，大幅提升设计效率。

• 长程多任务管道编排： 串联复杂的设计管道任务，例如从概念建模→详细零件设计→装配验证→工程图输出→BOM表生成。ComAct通过生成单一确定性脚本替代数百个易出错的顺序GUI操作，保持端到端高成功率，确保整个设计流程的连续性和可靠性。

• 跨应用协同工作流： 利用COM统一接口整合Microsoft Office、Adobe套件与工业CAD软件。例如，当CAD模型发生变更时，ComAct可以自动更新Excel物料清单并生成Word技术报告，实现跨应用的自动化数据流转和文档生成。

• 设计验证与质量检测： 自动执行干涉检测、几何尺寸验证、质量属性计算等分析任务。通过连续几何奖励机制确保输出结果的几何保真度，辅助工程师快速排查设计冲突，减少人工校验的工作量。

• 参数化批量建模： 根据输入参数批量生成或修改标准化零件/装配体，适用于标准件库生成、系列产品变型设计等需要大量重复性建模任务的场景。ComAct能够显著提升设计效率，减少重复劳动。

8. 常见问题FAQ

Q：ComAct与传统GUI Agent有什么区别？
A：核心区别在于操作方式。传统GUI Agent通过模拟鼠标点击和键盘输入来操作软件界面，依赖屏幕截图进行像素级定位，在长程任务中容易因环境变化（如窗口遮挡、分辨率差异）导致错误累积。ComAct则直接通过Windows COM接口调用软件内部的对象模型，生成确定性脚本执行操作，从根本上消除了像素依赖和错误累积问题。

Q：ComAct支持哪些软件？
A：ComAct理论上支持所有暴露了COM接口的Windows软件。目前论文中已验证的软件包括SolidWorks、AutoCAD、Inventor等工业CAD软件，以及Microsoft Office套件。COM接口是Windows生态中广泛存在的底层接口，许多商业软件都提供了COM自动化支持。

Q：使用ComAct需要哪些硬件和软件环境？
A：部署ComAct需要Docker化Windows容器环境，并预装目标商业软件（如SolidWorks）。ComForge平台支持并发托管1000+个独立环境，对CPU、内存和存储资源有较高要求。对于个人使用，至少需要一台能够运行Windows容器的高性能服务器或工作站。

Q：ComAct的训练数据是如何构建的？
A：ComAct通过专门的验证过的指令-代码对数据构建流程，合成经过验证的指令-COM代码语料库。该流程确保训练数据在语法和语义层面的正确性，为监督微调提供高质量基础。随后通过多轮交互轨迹和GRPO强化学习进一步优化模型。

Q：ComAct能否用于非Windows平台？
A：目前不行。ComAct的核心依赖于Windows COM组件模型，这是Windows平台独有的技术。要将其扩展到macOS或Linux，需要找到类似的可执行抽象（如macOS的AppleScript或Linux的D-Bus），但这需要大量的适配工作。

Q：ComAct的开源协议是什么？
A：ComAct的代码已在GitHub上开源，具体开源协议以仓库中的LICENSE文件为准。用户可以在GitHub上找到ComAct的源代码、论文和示例。

9. 项目地址

• 项目官网： https://knowledgexlab.github.io/ComAct/
• GitHub仓库： https://github.com/KnowledgeXLab/ComAct
• 技术论文（arXiv）： https://arxiv.org/pdf/2606.13239