GenEvolve – 美团等推出的自演进图像生成 Agent

1. GenEvolve是什么

GenEvolve是由香港科技大学（广州）、美团与新加坡国立大学联合研发的自演进图像生成Agent，它将开放式图像生成任务形式化为工具编排的视觉轨迹，通过搜索文本证据、检索视觉参考、调用生成知识，最终合成可执行的prompt-reference program，交由任意参考条件生成器渲染。该Agent基于Qwen3-VL-8B-Instruct模型，采用两阶段训练策略——SFT冷启动与GRPO强化学习结合视觉经验自蒸馏，实现了从“被动响应”到“主动规划、自我进化”的范式跃迁，在知识密集型图像生成基准上以8B参数超越GPT-4o。

技术定位与领域： GenEvolve属于多模态AI Agent与图像生成交叉领域，核心创新在于将图像生成从单次prompt映射升级为多工具协同的决策与执行过程。它不同于传统端到端扩散模型，而是将Agent作为“生成策略大脑”，通过外部搜索、知识查询和参考检索来弥补生成模型对世界知识的缺失，实现更可控、更准确、更符合真实世界约束的图像输出。该定位填补了“通用Agent能力”与“专业图像生成”之间的空白，为复杂视觉内容生产提供了一种可编程、可进化的解决方案。

研发背景： 该项目由香港科技大学（广州）跨学科团队主导，联合美团视觉智能部与新加坡国立大学计算学院共同完成。研发动机源于当前图像生成模型在知识密集型任务中的固有缺陷：模型无法知晓埃菲尔铁塔的准确层数、公众人物的面部特征、特定商品的内部结构等事实性细节，导致生成结果频繁出现“幻觉”。团队希望通过赋予Agent搜索和推理能力，让生成过程不再依赖模型内部记忆，而是实时从外部知识源获取证据，从而从根本上提升生成准确性和可信度。

核心价值： GenEvolve解决了三个关键问题：第一，将图像生成从“单次prompt”扩充为“多步工具编排”，让Agent自主决定何时搜索文本、何时检索图像、何时调用生成技能，大幅降低用户对prompt engineering的依赖；第二，引入自我进化机制，通过GRPO轨迹优化和视觉经验自蒸馏，使Agent在反复实践中持续改进策略，无需人工标注即可实现能力提升；第三，实现生成器可迁移性，同一套Agent策略可无缝适配Qwen-Image-Edit、Nano Banana Pro等不同后端生成器，打破了策略与生成器的绑定关系。

技术特点： GenEvolve的核心技术栈包括：基于视觉语言模型（Qwen3-VL-8B）的工具调用能力、两阶段训练（SFT + GRPO + SDL）、视觉经验自蒸馏（Visual Experience Distillation）实现细粒度信用分配。其差异化能力在于：不仅输出最终图像，还输出完整的决策轨迹（search、image_search、query_knowledge调用记录），使生成过程完全可解释、可审计、可复现。

2. 主要功能

• 文本搜索（search）： Agent在生成前自动调用搜索引擎，收集外部事实证据，补充真实建筑结构、公众人物特征、商品规格等世界知识，避免生成模型因缺乏训练数据而产生的“幻觉”。例如生成“故宫太和殿”时，Agent会先搜索其屋顶样式、开间数量等细节，再将这些约束注入生成程序。

• 图像搜索（image_search）： 检索视觉参考图，为生成提供地标外观、人物面部、材质纹理等视觉锚点。Agent可从互联网获取多张参考图像，并自动选择最相关的作为条件输入，显著提升生成结果与真实场景的一致性。

• 生成知识查询（query_knowledge）： 激活内部预定义的八项生成技能，包括文字渲染、精确计数、空间布局、属性绑定、解剖结构、材质一致性、美学风格、多对象交互等。Agent根据当前需求动态查询对应技能的Markdown文档，获取具体约束写法，实现复杂需求的程序化表达。

• Prompt-Reference Program合成： 将上述三个工具的输出结果整合为一个结构化的可执行程序，包含搜索证据摘要、参考图像路径、知识约束规则等。该程序可被任意参考条件生成器（如Qwen-Image-Edit、Nano Banana Pro）解析并渲染为最终图像，实现了Agent策略与生成后端的解耦。

• 自我进化（GRPO + 视觉经验自蒸馏）： 训练阶段对同一请求采样多条轨迹，渲染为图像后由视觉判分器（基于VLM）和文本判分器（基于规则）共同打分，使用GRPO优化轨迹级奖励。进一步通过视觉经验自蒸馏（SDL）比较最优与最差轨迹，将差异总结为结构化Decision Guide，通过token级反向KL将教师偏好蒸馏给学生模型，使Agent学会“在类似请求时如何搜索、选参考、组织约束”的决策习惯。

• 生成器可迁移性： 同一套Agent策略无需任何微调即可适配不同后端生成器。实验表明，使用开源Qwen-Image-Edit时性能稳定，切换到商业级Nano Banana Pro后图像质量进一步提升，证明Agent学到的工具编排策略具有通用性，不依赖特定生成器的内部能力。

• 跨基准泛化： 在WISE知识密集型基准上，GenEvolve未经in-domain微调即达到0.3663的KScore，超过GPT-4o（0.3493）和Gen-Searcher（0.3493）。这表明基于工具编排的策略比纯语言模型或简单搜索增强方法更有效地利用外部知识，且泛化能力优于闭源大模型。

3. 如何使用

1. 环境要求与前置条件： 需要一台配备至少16GB显存GPU的Linux或Windows机器，推荐使用NVIDIA A100或RTX 4090。Python版本需≥3.9，并安装PyTorch 2.0+。同时需要准备搜索引擎API密钥（如Bing Search API或Google Custom Search API）以及至少一个后端生成器的API密钥（Qwen-Image-Edit或Nano Banana Pro）。

2. 克隆仓库与安装依赖： 从GitHub克隆GenEvolve代码库，执行git clone （链接待官方发布后更新） install -r requirements.txt安装所有依赖包。注意需手动安装flash-attn以加速视觉语言模型推理。

3. 下载模型权重： 从HuggingFace下载策略模型权重，命令为git lfs clone （链接待官方发布后更新） download MeiGen-AI/GenEvolve。模型基于Qwen3-VL-8B-Instruct，权重约16GB。

4. 配置工具与生成器： 在config.yaml中设置搜索引擎API密钥（search_api_key和search_engine参数），并指定生成器后端类型（generator_type: "qwen_image_edit"或"nano_banana"）及其API密钥。将八项生成技能的Markdown文件放入skills/目录，确保query_knowledge工具可读取。

5. 初始化Agent并执行生成： 在Python脚本中实例化GenEvolveAgent类，传入模型路径、生成器配置和工具列表。调用agent.run("生成一张故宫太和殿的正面照片，要求屋顶有金色琉璃瓦，天空晴朗")，Agent将自动执行搜索、图像检索、知识查询、程序合成，最终返回生成图像路径。整个过程约需30-60秒，取决于搜索延迟和生成器速度。

6. 最佳实践： 首次使用时建议先运行agent.evaluate()测试简单请求，确认所有工具调用正常。若生成结果不理想，可通过调整temperature参数（默认0.7）控制Agent探索度，或手动干预搜索关键词。注意搜索引擎API有调用次数限制，建议使用付费账户以避免限流。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要高准确度知识密集型图像生成（如历史建筑、公众人物、商品展示）的场景，GenEvolve凭借其工具编排和自我进化能力是当前最优选择，尤其适合内容生产团队和商业设计部门。若仅需快速生成创意图像且对事实准确性要求不高，传统LLM+SD流水线成本更低、速度更快。对于需要多轮交互式编辑和局部修改的场景，Visual ChatGPT提供了更灵活的工具调用能力，但其缺乏系统性的知识检索和进化机制，在复杂约束下表现不如GenEvolve。Gen-Searcher作为搜索增强生成的代表，在简单事实性任务上表现接近GenEvolve，但缺少自我进化和生成器迁移能力，长期使用潜力受限。

6. 编辑点评

GenEvolve在技术创新上展现了显著的突破：它将强化学习（GRPO）与知识蒸馏（视觉经验自蒸馏）有机结合，首次在图像生成Agent领域实现了细粒度的信用分配和闭环自我进化。这一设计不仅提升了单次生成的准确性，更重要的是赋予了Agent持续改进的能力，使其在反复实践中自动优化工具调用策略——这比传统的静态prompt优化或简单搜索增强更具长期价值。从实用价值看，GenEvolve有效降低了专业图像生成的门槛：用户只需用自然语言描述需求，Agent即可自主完成信息收集、视觉参考筛选、约束整合等复杂工作，输出高质量的可执行生成程序。这种“程序化生成”范式特别适合需要精确控制细节的商业场景，如广告海报、电商主图、教育插图等。适用人群包括AI内容创作者、设计师、产品经理、科研人员等，尤其是那些对生成结果有严格事实性和一致性要求的用户。未来发展潜力巨大：随着更多后端生成器的接入和工具库的扩展（如增加3D生成、视频生成工具），GenEvolve的架构可自然延伸至多模态内容生产领域。同时，其自我进化机制有望在更大规模数据和更长训练周期下产生更强的策略涌现。但总体而言，GenEvolve代表了图像生成Agent从“辅助工具”向“自主创作伙伴”演进的重要一步，其技术路线值得行业关注和跟进。

7. 应用场景

• 知识密集型图像生成： 需要外部世界知识的场景，如生成埃菲尔铁塔的精确结构图、故宫太和殿的正面照片、特定公众人物肖像、历史事件还原图等。Agent通过搜索工具补充事实细节，避免生成器“幻觉”错误细节（如铁塔多一层、人物面部特征错误），适合博物馆、教育出版、新闻报道等对真实性要求极高的领域。

• 质量约束型商业设计： 对文字渲染（如海报上的中英文标语）、精确计数（如12个杯子）、空间布局（如“左边是沙发，右边是落地灯”）、属性绑定（如“红色皮质沙发”）、材质真实感（如丝绸、金属）有硬性要求的广告海报、电商主图、产品包装设计。Agent通过query_knowledge工具调用对应技能文档，将约束转化为程序参数，确保生成结果符合商业规范。

• 参考一致性系列化内容生产： 要求输出与参考图保持身份一致（如角色设计、品牌IP形象）、材质统一（如特定面料纹理）或风格统一（如梵高画风）的系列化内容。Agent通过image_search检索多张参考图，并在prompt-reference program中显式绑定参考条件，实现同一角色在不同场景下的连贯生成，适用于游戏概念设计、动画分镜、品牌视觉系统搭建。

• 模糊需求澄清与程序化： 将用户模糊描述（如“一张有科技感的办公室”）转化为可执行的生成程序，明确搜索什么关键词、参考什么风格图、调用哪些知识约束。Agent自动拆解需求，降低用户对prompt engineering的依赖，适合非专业用户快速获得高质量图像，也适合企业内部批量生成标准化视觉素材。

8. 常见问题FAQ

Q：GenEvolve需要多大的显存才能运行？
A：推荐使用至少16GB显存的GPU（如RTX 4090、A100），模型权重约16GB，推理时峰值显存占用约18GB。若使用RTX 3060（12GB）可通过量化或降低精度运行，但速度会显著下降，单次生成可能超过3分钟。

Q：是否支持本地离线运行？
A：不支持完全离线。Agent的search和image_search工具需要调用外部搜索引擎API，query_knowledge工具读取本地Markdown文件可离线，但后端生成器（Qwen-Image-Edit或Nano Banana Pro）通常也需要云服务API。若使用本地部署的生成器（如Stable Diffusion），理论上可实现部分离线，但需自行修改代码。

Q：训练数据是否公开？如何复现训练过程？
A：模型权重已开源，但训练用Teacher轨迹数据集、视觉判分器权重、判分规则等未公开发布。目前只能进行推理和使用预训练策略，完整的训练复现需要等待团队后续开放或自行构建类似数据。建议关注GitHub仓库更新。

Q：GenEvolve的中文生成效果如何？
A：基础模型Qwen3-VL-8B支持中英文，但搜索引擎和图像检索对中文内容的覆盖度不如英文，导致中文地标、人物等检索结果准确率偏低。建议中文场景下使用Bing Search API并设置中文搜索参数，或手动提供参考图路径以弥补检索不足。

Q：能否自定义工具或添加新的生成知识？
A：可以。GenEvolve的工具调用框架支持扩展，只需在tools/目录下添加新工具类并实现对应接口。生成知识技能以Markdown文件形式管理，用户可在skills/目录中添加新技能文档，Agent通过query_knowledge自动读取。注意需重新训练或微调Agent以学会使用新工具，否则可能无法正确调用。

Q：Agent的输出程序能否保存并复用？
A：可以。Agent生成的prompt-reference program以JSON格式输出，包含搜索证据、参考图路径、知识约束、生成参数等完整信息。用户可保存该程序，稍后重新传入生成器渲染，或作为模板修改后用于批量生产，实现生成逻辑的复用和微调。

9. 项目地址

• 项目官网： https://ephemeral182.github.io/GenEvolve/
• GitHub仓库： https://github.com/MeiGen-AI/GenEvolve
• HuggingFace模型库： https://huggingface.co/MeiGen-AI/GenEvolve