MemGUI-Agent – 浙大联合快手推出的长程手机GUI智能体

1. MemGUI-Agent是什么

MemGUI-Agent 是由浙江大学与快手联合研发的长程手机GUI智能体，专门用于跨App、多步骤、长链条的移动端自动化任务。传统ReAct风格Agent在长程任务中会因历史记录线性膨胀导致关键信息被稀释，MemGUI-Agent通过创新性的ConAct（Context-as-Action）协议，让模型在每一步同时决定如何操作UI和如何整理记忆，实现紧凑且结构化的上下文管理。基于Qwen3-VL-8B的LoRA微调模型MemGUI-8B-SFT，仅8B参数即可在长程基准上超越多数32B甚至235B基线，展现出极强的小模型大能力特性。

技术定位与领域： MemGUI-Agent属于移动端图形用户界面（GUI）自动化领域的智能体系统，专注于解决跨应用、长链条、多步骤的复杂手机操作任务。它不同于传统的UI自动化测试工具或简单的屏幕点击模拟器，而是将大语言模型（LLM）与视觉-语言模型（VLM）结合，赋予Agent自主规划、记忆管理和长程推理的能力。该工具在移动端GUI Agent研究中开创性地将上下文管理从外部规则模块提升为可训练的策略输出，填补了长程任务中信息稀释问题的解决方案空白。

研发背景： 该项目由浙江大学计算机科学与技术学院与快手科技联合开发，依托双方在计算机视觉、自然语言处理和移动端AI方面的深厚积累。研发动机源于实际移动端自动化场景的痛点：现有Agent在20步以上的长程任务中，由于历史记录线性增长，关键UI事实（如价格、电话号码、规格参数）容易被稀释，导致任务失败或产生幻觉。团队通过分析发现，传统ReAct风格Agent的上下文管理是被动的、追加式的，缺乏主动压缩和结构化记忆的能力。因此，他们提出了ConAct协议，将记忆操作作为与UI操作同级的第一类动作，从底层重新设计了Agent的推理循环。

核心价值： MemGUI-Agent解决了移动端长程自动化任务中上下文膨胀与信息丢失的核心矛盾。通过ConAct协议，Agent能够在每一步主动决定压缩哪些历史、记住哪些UI事实、如何描述当前步骤，使得上下文始终保持紧凑且关键信息不丢失。在实际测试中，150步长程任务下ConAct比ReAct平均节省约1500个输入token，同时关键信息的留存精度显著提升。此外，基于8B小模型的方案实现了高效部署，在MobileWorld基准上取得17.9%的成功率，较基线提升8.5个百分点，展现出优异的分布外泛化能力。

技术特点： MemGUI-Agent的核心技术特点包括：ConAct主动上下文管理协议、三个结构化状态字段（Folded Action History、Folded UI State、Recent Step Record）、五段结构化输出（thinking、folding、tool_call、ui_observation、action_intent）以及显式记忆操作（memory_add/update/delete）。这些技术共同构成了一个紧凑且可训练的长程推理框架，使得8B模型能够胜任以往需要更大模型才能完成的任务。

2. 主要功能

• 长程任务执行： 支持跨App、跨页面的复杂自动化流程，平均可处理30步以上的连续操作。通过ConAct协议，Agent能够主动管理上下文，在长达150步的轨迹中保持稳定的任务执行能力，显著优于传统ReAct风格Agent在20步后即出现性能下降的情况。

• 主动上下文管理： 通过ConAct协议，Agent自主决定何时压缩历史、何时写入UI事实、如何描述当前步骤。不同于外部规则模块或后处理总结器，这种主动管理将上下文更新作为可训练的策略输出，使模型能够根据任务需求动态调整记忆结构。

• 结构化记忆操作： 原生支持 memory_add、memory_update、memory_delete 等记忆动作，能够持久保存价格、电话、规格等关键UI事实。这些记忆操作与UI点击、滑动、输入同级，作为模型输出的一部分被训练和推理，确保关键信息在几十步后仍可精准检索。

• 端到端模型训练： 提供基于Qwen3-VL-8B的LoRA微调模型MemGUI-8B-SFT，仅8B参数即可胜任长程任务。训练数据包含2956条高质量轨迹的MemGUI-3K数据集，覆盖跨App、多步骤的复杂场景，模型在长程基准上超越多数32B甚至235B基线。

• 全链路开源： 代码、MemGUI-3K数据集、训练/评测pipeline及模型权重全部开放。研究者可以完整复现从数据构造到模型训练再到评测的全过程，极大降低了移动端GUI Agent的研究门槛。

• 分布外泛化能力： 在MobileWorld基准上取得17.9%的成功率（GUI-Only设置），较基线提升8.5个百分点。这证明模型不仅能在训练场景中表现优异，还能有效迁移到未见过的App和任务类型，展现出强跨场景适应能力。

3. 如何使用

1. 环境要求与前置条件： 需要一台配备GPU的Linux或Windows机器，推荐使用NVIDIA显卡（至少8GB显存）。操作系统建议为Ubuntu 20.04或更高版本，Python 3.8+，并安装PyTorch等深度学习框架。Android环境需要一台已开启开发者模式并启用USB调试的物理手机或Android模拟器（推荐使用Android Studio自带的模拟器或Genymotion）。

2. 克隆开源代码： 从GitHub仓库 github.com/kwai/MemGUI-Agent 拉取完整代码与训练/评测pipeline。使用命令 git clone （链接待官方发布后更新） install -r requirements.txt。

3. 下载数据集与模型权重： 从HuggingFace上的MemGUI-Agent集合页面下载MemGUI-3K数据集（包含2956条轨迹）以及MemGUI-8B-SFT模型权重。使用HuggingFace的datasets库加载数据集，模型权重可通过transformers库的from_pretrained方法加载。

4. 配置Android环境： 连接Android设备或启动模拟器，确保adb devices命令能识别到设备。根据项目文档配置ADB路径和屏幕分辨率参数。部分设备可能需要安装额外的输入法或辅助功能服务以支持UI操作。

5. 输入任务指令并执行： 以自然语言描述长程目标，例如“打开淘宝搜索‘无线耳机’，筛选价格在200-500元之间的商品，将前三名的名称、价格和评分记录到备忘录中”。Agent将自动规划并执行跨App的自动化流程，过程中会生成结构化的记忆操作和UI动作序列。

6. 注意事项与最佳实践： 首次使用时建议在模拟器上测试，避免对物理设备造成意外操作。长程任务中建议定期检查Agent的执行日志，确认记忆操作是否正确。若任务失败，可调整任务描述的分步粒度，或检查设备屏幕分辨率是否与训练数据匹配。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要处理超长链（30步以上）跨App任务的场景，MemGUI-8B-SFT是首选。其ConAct协议在上下文管理和信息留存方面具有明显优势，且全链路开源便于定制和二次开发。如果任务以短程为主（10-20步），且对部署便利性要求较高，OpenMobile-8B也是一个不错的选择，其ReAct风格实现更简单，但需注意历史线性膨胀带来的性能下降。对于不追求开源、可接受API调用成本的商业应用，AppAgent基于GPT-4V的视觉理解能力较强，但缺乏显式记忆操作，在需要持久保存UI事实的场景中可能不如MemGUI-Agent可靠。

6. 编辑点评

MemGUI-Agent在移动端GUI Agent研究领域做出了显著的技术创新。其核心贡献在于将上下文管理从被动的后处理提升为主动的、可训练的策略输出——ConAct协议。这一设计从根本上解决了长程任务中历史线性膨胀导致的关键信息稀释问题，使得8B参数的小模型能够胜任以往需要32B甚至更大模型才能完成的任务。从技术评估角度看，论文中150步长程任务下节省约1500个输入token的实验数据具有说服力，MobileWorld基准上17.9%的成功率（较基线提升8.5个百分点）也证实了其分布外泛化能力。

在实用价值方面，MemGUI-Agent的全链路开源策略极大降低了研究门槛。从数据构造（MemGUI-3K）、模型训练（LoRA微调）、到评测协议，所有组件均可复现，这对于推动移动端GUI Agent领域的标准化研究具有重要意义。同时，8B小模型的高效部署特性使其在资源受限场景中具有实际应用潜力。

该工具的主要适用人群为：移动端自动化研究人员、GUI Agent开发者、RPA工具厂商以及对跨App自动化有需求的高级用户。对于学术研究者，全链路开源提供了极好的研究平台；对于工业开发者，可基于此构建定制化的移动端自动化解决方案。

未来发展潜力方面，MemGUI-Agent还有几个值得期待的方向：一是扩展到iOS平台的支持；二是进一步优化记忆操作的触发策略，减少过度压缩；三是结合更强大的基础模型（如Qwen3-VL-72B）进行知识蒸馏，进一步提升性能。

7. 应用场景

• 跨App信息整合： 用户可下达指令如“从淘宝搜索‘无线耳机’，查看前五名的价格和评价，从知乎搜索相关评测，将综合信息整理到备忘录”。Agent将自动在电商App、社交App和笔记App之间切换，收集并持久保存关键事实，最终生成结构化文档。

• 长表单填写： 在复杂的注册或报销流程中，Agent可从邮件中提取验证码、从通讯录获取联系人信息、从日历获取日期，自动填入多个表单页面。通过结构化记忆操作，Agent能在跨越多个App的流程中保持信息一致性。

• 联系人管理与更新： 从社交媒体帖子或聊天记录中提取新的电话号码或邮箱地址，自动更新通讯录中的联系人信息，并发送短信或邮件通知。Agent通过memory_update操作持久保存联系人变更历史。

• 商品比价与记录： 浏览多个电商平台（淘宝、京东、拼多多），记录指定商品的价格、规格参数和优惠信息，生成对比文档并保存到云笔记。Agent利用memory_add操作逐步累积各平台数据，最终汇总输出。

• 自动化测试与RPA： 在移动端执行长链条UI回归测试，例如模拟用户完成从登录、浏览、下单到支付的完整流程。Agent可记录每一步的UI状态和操作结果，便于测试人员分析失败原因。企业级RPA场景中，可基于MemGUI-Agent构建跨App的业务流程自动化方案。

8. 常见问题FAQ

Q：MemGUI-Agent支持iOS设备吗？
A：目前MemGUI-Agent仅支持Android系统，需要连接Android设备或启动Android模拟器。iOS平台的支持尚未实现，未来可能通过Apple的辅助功能API或XCTest框架进行扩展。

Q：训练MemGUI-8B-SFT需要多少计算资源？
A：LoRA微调可以在单张24GB显存的GPU（如NVIDIA RTX 4090或A10G）上完成。全量微调则需要更大显存（建议80GB A100）。推理时8GB显存即可运行，但长程任务中显存占用会随步数增加而增长。

Q：MemGUI-3K数据集是如何构建的？
A：数据集包含2956条高质量轨迹，涵盖跨App、多步骤的复杂场景。每条轨迹由人工标注的UI操作序列和对应的记忆操作组成，并经过质量筛选和一致性检查。数据集在HuggingFace上完全开源。

Q：ConAct协议与ReAct的主要区别是什么？
A：ReAct将历史记录线性追加到上下文，导致信息膨胀和关键信息稀释；ConAct则将上下文管理作为模型输出的一个组成部分，通过折叠历史、结构化记忆和最近记录三个字段协同工作，实现紧凑且可检索的上下文表示。

Q：MemGUI-Agent能否处理屏幕分辨率不同的设备？
A：模型训练时使用了多种分辨率的数据，但最佳效果需要设备屏幕分辨率与训练数据匹配。建议在配置文件中指定目标设备的分辨率，Agent会自动调整UI元素定位策略。若分辨率差异过大，可能需要重新训练或微调。

Q：如何评估MemGUI-Agent的任务成功率？
A：官方在MobileWorld基准上评估了GUI-Only设置下的成功率（17.9%），同时提供了详细的分步成功率分析。研究者也可以使用自己的测试集，通过项目中的评测pipeline进行自动评估。

Q：MemGUI-Agent的商业使用是否受限制？
A：项目采用Apache 2.0许可证，代码和模型权重完全开源，支持商业使用和学术用途。但需注意，基础模型Qwen3-VL-8B的许可证可能有所不同，建议查看其官方许可条款。

9. 项目地址

• 项目官网：https://memgui-agent.github.io/
• HuggingFace模型库：https://huggingface.co/collections/lgy0404/memgui-agent
• arXiv技术论文：https://arxiv.org/pdf/2606.19926
• GitHub代码仓库：https://github.com/kwai/MemGUI-Agent