MMSkills – 上海交大与小红书联合推出的多模态技能框架

1. MMSkills是什么

MMSkills是由上海交通大学与小红书联合研发的多模态技能框架，专为通用视觉Agent设计。该框架将传统纯文本技能扩展为包含文本流程、运行时状态卡片和多视角关键帧的多模态程序性知识单元，并通过Branch Loading机制在运行时高效调用视觉证据，避免一次性注入完整上下文造成决策污染。在OSWorld、macOSWorld、VAB-Minecraft等GUI与游戏任务上，MMSkills为Gemini、Qwen、Kimi、GLM等多模型家族带来了稳定且显著的性能提升，尤其在小模型上的增益超过一倍，填补了轻量级视觉语言模型在过程先验知识上的不足。

技术定位与领域： MMSkills属于多模态AI Agent框架领域，专注于解决视觉Agent在复杂环境中缺乏可复用程序性知识的问题。它不同于传统RPA或简单的技能库，而是将技能表示为多模态结构（文本+状态卡片+关键帧），使Agent能基于真实视觉状态判断何时使用技能、如何验证执行进度，从而将探索式试错转变为状态感知的精准执行。

研发背景： 上海交通大学在视觉语言模型与Agent研究方面拥有深厚积累，小红书则在多模态内容理解与用户交互场景上具备丰富实践经验。双方联合研发MMSkills，旨在突破当前视觉Agent在长程任务中因缺乏外部过程知识而频繁失败的技术瓶颈，推动Agent从“看图说话”向“看图做事”进化。

核心价值： MMSkills解决了视觉Agent在GUI自动化、游戏操控等任务中普遍存在的“无经验、易迷失”问题。传统Agent依赖模型内部先验，但轻量级模型（如8B参数）内部过程知识不足；而注入完整演示轨迹又会导致上下文过长、视觉证据干扰主决策。MMSkills通过多模态技能包和分支加载机制，在不污染主上下文的前提下提供精准的视觉对齐指导，显著提升任务成功率并减少无效操作。

技术特点： 其核心技术在于多模态技能包的定义（文本流程+状态卡片+多视角关键帧）和Branch Loading运行时机制。技能包通过自动化五阶段流程从公开轨迹中提炼，而非简单保存原始演示；Branch Loading允许主Agent在运行时临时开启分支，通过View Selection和Branch Planning完成视觉证据对齐，返回紧凑的结构化决策支持（applicable、subgoal、plan、do_not_do、verify），实现高效的上下文管理和状态感知决策。

2. 主要功能

• 多模态技能包构建： 将传统纯文本技能扩展为包含SKILL.md文本流程、State_cards.json运行时状态卡片和Images多视角关键帧的完整单元。这种结构使技能包不仅能描述操作步骤，还能提供视觉状态判断依据，Agent可基于当前截图与状态卡片匹配，判断技能是否适用以及执行进度是否正确。

• 自动化技能生成： 采用五阶段流程（任务聚类、簇内技能规划、技能合并泛化、文本草案生成、视觉Grounding与审计），从公开的非测试交互轨迹中自动提炼可复用的诊断性状态知识。该流程避免了人工标注的昂贵成本，且生成的技能包聚焦于关键状态判断而非完整演示，更具泛化能力。

• Branch Loading分支加载： 主Agent在运行时判断某技能可能有用时，临时开启一个skill branch，在该分支内执行View Selection和Branch Planning，完成视觉证据对齐后返回结构化决策支持，然后关闭分支。这种机制避免了将完整技能包（尤其是大量图片）直接注入主上下文，防止参考图片污染当前决策流程。

• View Selection视角筛选： 在Branch Loading分支中，根据当前截图、历史动作和状态卡片，从技能包的多视角关键帧中智能选择最相关的视角进行对齐。该功能减少了视觉匹配的搜索空间，提高了对齐效率，同时降低了无关视觉信息的干扰。

• 结构化决策指导： 分支完成视觉对齐后，向主Agent返回一个紧凑的JSON结构，包含applicable（技能是否适用）、subgoal（当前子目标）、plan（下一步计划）、do_not_do（应避免的操作）和verify（验证步骤）。这种结构化输出直接嵌入主Agent的决策循环，无需额外解析。

• 跨领域任务覆盖： 同时支持GUI桌面自动化（如LibreOffice、文件管理）和视觉游戏任务（如Minecraft、Super Mario Bros）。技能包在不同领域间可迁移复用，例如在Minecraft中用于物品获取与合成规划，在macOS上用于图表创建。

• 小模型增益显著： 在Qwen3-VL-8B等轻量级模型上，MMSkills带来的性能提升超过一倍。这得益于外部多模态程序性知识补充了小型模型内部过程先验的不足，使其在长程任务中也能保持稳定的决策能力。

3. 如何使用

1. 获取技能库： 访问Hugging Face数据集页面（zhangkangning/mmskills）下载预生成的多模态技能包。技能包以标准格式组织，包含SKILL.md、State_cards.json和Images目录，可直接用于Agent集成。

2. 集成主Agent： 将MMSkills的分支加载机制接入现有视觉Agent的推理流程。需要在Agent的决策循环中增加一个“技能匹配与分支加载”模块，该模块负责在每一步判断当前任务是否可能匹配某个技能，并触发Branch Loading请求。

3. 触发技能调用： 主Agent在运行时根据当前截图和任务描述，通过简单的文本匹配或语义检索判断可能相关的技能。当匹配度超过阈值时，主Agent发起branch loading请求，将当前截图、历史动作序列和候选技能包传递给分支处理器。

4. 接收结构化指导： 分支处理器执行View Selection和Branch Planning，完成视觉证据对齐后，返回一个包含applicable、subgoal、plan、do_not_do和verify的JSON对象。主Agent解析该结构，将其作为下一步决策的参考依据。

5. 执行并验证： 主Agent依据返回的plan执行动作，并在执行后通过状态卡片验证任务进度。如果验证失败，可重新触发技能匹配或回退到默认探索策略。

6. 注意事项与最佳实践： 建议在集成前先在小规模测试集上验证技能包的有效性。对于不同模型家族（如Gemini、Qwen），可能需要调整View Selection的相似度阈值。Branch Loading的开销较小，但应避免频繁触发不必要的分支，建议设置冷却机制。技能包可自定义扩展，用户可根据自身任务轨迹通过自动化生成流程创建新技能。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于追求高任务成功率和稳定性的视觉Agent应用，MMSkills是最优选择，尤其适合小模型部署场景（如8B模型在边缘设备上运行）。如果任务环境高度固定且界面变化极小，Text-only Skills可能因简单轻量而更易集成；但若界面动态变化（如不同分辨率、主题），MMSkills的状态卡片和关键帧能提供更强鲁棒性。对于需要快速原型验证的场景，Demo-based Agents可能更直接，但长期来看其泛化能力和上下文管理问题会限制扩展。CogAgent等无外部技能的视觉Agent适合作为基线对比，但在复杂长程任务中需要大量训练数据或模型微调。

6. 编辑点评

MMSkills在视觉Agent领域提出了一种极具创新性的知识表示与调用范式。其核心洞察在于：视觉Agent的失败往往不是因为模型视觉能力不足，而是缺乏可复用的程序性知识来指导“何时做、做什么、如何验证”。传统方法要么依赖纯文本技能（缺乏视觉Grounding），要么注入完整演示（污染上下文且泛化差）。MMSkills通过多模态技能包和Branch Loading机制，巧妙地在知识丰富性和上下文清洁性之间取得了平衡。

从技术实现来看，自动化技能生成流程（五阶段）保证了技能库的可扩展性，View Selection和Branch Planning则确保了运行时效率。实验数据表明，MMSkills在OSWorld上为Gemini 3.1 Pro带来了约10个百分点的提升，而在Qwen3-VL-8B上提升超一倍，这充分验证了其“外部知识补充内部先验”的设计理念。尤其值得关注的是，MMSkills对小模型的增益意味着轻量级视觉Agent也能胜任原本需要大模型才能完成的长程任务，这对边缘计算和隐私敏感场景具有重要价值。

当然，MMSkills并非万能。其技能库的覆盖范围目前仍局限于基准测试领域，企业级定制需要额外投入。此外，View Selection的视觉对齐质量高度依赖底层多模态模型的能力，若模型本身对界面元素理解不足，则框架效果会打折扣。未来发展方向应包括技能库的社区共建、跨领域迁移的自动化优化，以及更轻量的对齐算法。

适用人群： 视觉Agent研究人员、GUI自动化开发者、游戏AI工程师、RPA系统架构师。尤其适合那些希望用小模型（8B-14B）完成复杂桌面或游戏任务的团队。

7. 应用场景

• 桌面GUI自动化： 在Ubuntu/macOS环境中完成跨应用复杂操作，如LibreOffice图表创建、文件权限修改、系统设置调整。Agent通过MMSkills技能包识别当前激活的窗口、按钮可用状态，避免在错误界面执行操作，可稳定完成原本需要人工演示的自动化流程。

• 游戏AI智能体： 在Minecraft生存模式中执行长程物品获取与合成规划，或在Super Mario Bros中基于视觉状态决策跳跃时机。技能包包含多视角关键帧（如不同角度的树木、矿石），Agent能准确识别资源位置并规划路径，减少无效探索。

• 企业RPA增强： 为现有机器人流程自动化系统增加视觉状态感知能力。传统RPA依赖坐标或DOM元素定位，在界面变化时易失效；MMSkills技能包的状态卡片可检测界面元素是否存在、是否可点击，使RPA能自适应不同版本的软件界面。

• 视觉任务教学： 将人工操作经验沉淀为可复用的多模态技能库，用于培训新Agent或辅助其他Agent学习。例如，资深设计师可将Photoshop操作流程录制为MMSkills技能包，新Agent通过加载技能包快速掌握复杂编辑技巧。

8. 常见问题FAQ

Q：MMSkills需要特定的多模态模型才能使用吗？
A：MMSkills框架本身与模型无关，支持Gemini、Qwen、Kimi、GLM等多种视觉语言模型。但Branch Loading中的View Selection和视觉对齐依赖于模型的视觉理解能力，建议使用具备较强图文匹配能力的模型（如Qwen2.5-VL、Gemini 2.0 Flash）。

Q：如何创建自定义技能包？
A：用户可按照官方GitHub仓库中的文档，收集公开交互轨迹（截图+动作序列），运行自动化生成脚本（五阶段流程）即可生成技能包。也可以手动编写SKILL.md和State_cards.json，并准备对应的关键帧图片。

Q：Branch Loading会增加多少推理延迟？
A：在典型场景中，Branch Loading的额外延迟约50-200ms，取决于View Selection的搜索空间和视觉对齐的计算量。相比直接注入完整技能包（可能包含数十张图片）导致的上下文长度膨胀和推理时间剧增，Branch Loading的整体延迟更低。

Q：MMSkills在macOS上的表现如何？
A：在macOSWorld基准测试中，MMSkills为Gemini 3.1 Pro带来了约8个百分点的提升，为Qwen3-VL-235B带来了约10个百分点的提升。技能包已覆盖文件管理、系统设置、应用操作等常见任务。

Q：技能包可以跨语言使用吗？
A：技能包的文本流程（SKILL.md）目前主要使用英文，但状态卡片和关键帧是视觉化的，不依赖语言。用户可将文本流程翻译为中文或其他语言，不影响视觉对齐效果。社区已有人贡献中文版技能包。

Q：MMSkills与RPA工具（如UiPath）有何区别？
A：传统RPA依赖固定坐标或DOM选择器，界面变化时易失效。MMSkills基于视觉状态感知，能自适应不同分辨率和主题。但MMSkills目前定位为Agent框架，不提供完整的RPA编排界面，更适合开发者集成。

9. 项目地址

• 项目官网： https://zkangning.github.io/MMSkills_for_Visual_Agents/
• GitHub仓库： https://github.com/zkangning/MMSkills_for_Visual_Agents
• HuggingFace数据集： https://huggingface.co/datasets/zhangkangning/mmskills
• arXiv技术论文： https://arxiv.org/pdf/2605.13527