HyperEyes – 小红书联合剑桥推出的并行多模态搜索智能体

1. HyperEyes 是什么

HyperEyes是小程序与剑桥大学联合推出的并行多模态搜索智能体，它开创性地提出了UGS（Unified Grounded Search）范式，将视觉定位与检索融合为单一原子动作，实现了单轮多实体并发搜索。该模型采用双粒度效率感知强化学习框架（TRACE + OPD），在6个基准测试中，30B版本准确率超越最强开源同规模模型9.9%，工具调用轮次减少5.3倍，实现了准确率与效率的帕累托最优。HyperEyes的推出标志着多模态搜索从串行范式向并行范式的根本性转变，为复杂视觉问答场景提供了全新的解决路径。

技术定位与领域： HyperEyes属于多模态人工智能与信息检索的交叉领域，专注于解决复杂图片中多实体并发定位与检索问题。它不同于传统的视觉问答（VQA）系统，而是将视觉定位、实体识别与外部知识检索深度融合，形成一个端到端的智能搜索代理。

研发背景： 该项目由小红书技术团队与剑桥大学计算机实验室联合研发。小红书的推荐系统和内容理解技术积累为模型提供了丰富的多模态数据训练经验，而剑桥大学在强化学习和视觉推理方面的学术优势则为算法创新提供了理论支撑。研发动机源于现有串行搜索范式在效率与准确性上的双重瓶颈。

核心价值： HyperEyes解决了传统多实体搜索中“裁剪-搜索-合并”串行流程带来的效率低下和错误级联问题。它将视觉定位直接嵌入检索动作参数，通过一次函数调用携带多个目标框，彻底消除了前置定位偏差对后续搜索的污染。这一创新使得多实体并发搜索成为可能，在复杂场景下的准确率和效率均有质的飞跃。

技术特点： HyperEyes的核心技术优势在于其双粒度效率感知强化学习框架——TRACE动态收紧轨迹级效率标尺，OPD在失败轨迹上注入Token级纠正信号，两者协同优化策略网络的准确率与效率。此外，其渐进式拒绝采样数据合成流水线能够生成零冗余的并行搜索种子数据，为模型训练提供了高质量的训练素材。

2. 主要功能

• 并行多模态搜索： 在单轮交互中并发定位并检索图片中的多个实体，替代传统串行“裁剪-搜索-合并”流程。用户上传包含多个目标的复杂图片后，HyperEyes无需多次调用即可一次性获取所有实体的位置信息和相关检索结果，显著提升搜索效率。

• 统一有依据搜索（UGS）： 将视觉定位框直接嵌入检索动作参数，通过一次函数调用携带多个目标框，实现物理层面的单轮多目标并发通路。这一设计消除了传统方法中视觉定位作为独立前置步骤带来的延迟和误差累积。

• 渐进式拒绝采样： 在递增轮次预算下提纯高效轨迹，构建3万条零冗余并行种子数据。该机制通过多轮筛选和优化，确保训练数据的质量和多样性，避免冗余样本对模型训练的干扰。

• 双粒度效率感知强化学习（TRACE + OPD）： TRACE动态收紧轨迹级效率标尺，根据当前最优轨迹自动调整奖励标准；OPD在失败轨迹上注入Token级纠正信号，通过235B教师模型为错误轨迹提供密集监督。两者协同优化，在提升准确率的同时大幅降低工具调用轮次。

• IMEB基准评估： 发布包含300实例的多实体视觉评测集，并配套CAS（Cost-Aware Scoring）评分体系，将准确率、Token消耗与工具调用轮次统一为单一效率指标。该基准为多模态搜索智能体的评估提供了标准化框架。

• 多工具协同： 集成图像搜索与文本搜索两种外部工具，支持视觉证据与文字证据的并发获取。在并行搜索过程中，模型可同时调用Bing Image Search和Google Custom Search等API，确保搜索结果的全面性和多样性。

3. 如何使用

1. 环境要求与前置条件： HyperEyes推荐在配备NVIDIA A100或H100 GPU的服务器上运行，显存需求至少80GB（30B版本）或320GB（235B版本）。操作系统建议为Linux（Ubuntu 20.04+），需预装Python 3.10+、PyTorch 2.0+及CUDA 11.8+。同时需要申请Bing Image Search和Google Custom Search的API密钥作为外部检索工具。

2. 获取开源资源： 访问GitHub仓库（https://github.com/DeepExperience/HyperEyes），使用git clone命令克隆项目代码。项目包含模型权重、训练脚本和推理配置文件，建议使用虚拟环境隔离依赖。

3. 准备基础模型： 下载Qwen3-VL-30B或Qwen3-VL-235B作为视觉语言模型backbone。使用pip install -r requirements.txt安装依赖后，通过python download_model.py --model_size 30B命令自动下载模型权重。确保GPU显存满足推理需求，显存不足时可启用模型并行或量化模式。

4. 配置外部检索工具： 在config/api.yaml文件中配置Bing Image Search和Google Custom Search的API密钥和搜索引擎ID。支持自定义搜索引擎参数，如地域限制、搜索类型（图片/文本）和返回结果数量。

5. 输入多实体查询： 使用python run_agent.py --image_path ./test.jpg --query "图中人物的身份、职业和背景信息"命令启动并行搜索。模型将自动执行UGS统一有依据搜索，单轮并发定位并检索所有目标实体。

6. 查看并行搜索结果： 模型返回JSON格式的结构化检索结果，包含每个实体的边界框坐标、置信度分数、视觉证据链接和文本证据摘要。通过--output_format参数可切换为Markdown或HTML格式输出。

7. 注意事项： 建议在首次使用前运行python benchmark.py测试环境配置是否正确。对于包含超过10个实体的复杂场景，可调整max_entities参数控制并行搜索的上限。API调用频率需遵守搜索引擎的使用规范，避免触发限流机制。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于追求极致效率和准确率的生产环境，HyperEyes-30B是首选方案，其2.2次的平均工具轮次和64.0%的准确率在同类模型中表现最佳。特别是对于需要实时处理大量复杂图片的场景（如电商内容审核、社交媒体监控），HyperEyes的并行搜索能力能够显著降低延迟和计算成本。

对于学术研究或对硬件预算有限的团队，可以考虑VDR作为替代方案，其54.1%的准确率虽然略低于HyperEyes，但模型规模较小，部署门槛较低。不过需要注意，VDR的11.6次工具轮次意味着更高的API调用成本和更长的推理时间。DeepEyes-V2由于其串行架构和较高的错误级联风险，仅在特定场景下（如图片实体数量较少）具有使用价值。

6. 编辑点评

HyperEyes在多模态搜索领域的技术创新具有里程碑意义。其核心突破在于将视觉定位与检索融合为单一原子动作，这一设计思路在学术界和工业界均属首创。从技术深度来看，双粒度效率感知强化学习框架（TRACE + OPD）的提出解决了传统强化学习在效率优化方面的痛点——TRACE的动态标尺机制能够自动适应不同难度的查询，而OPD的非对称蒸馏策略则有效防止了模型在追求效率时牺牲准确率。

从实用价值角度分析，HyperEyes在电商、社交媒体、新闻审核等场景中的应用潜力巨大。以电商商品比对为例，传统方法需要对每个商品进行裁剪、搜索、合并，整个过程耗时数分钟；而HyperEyes可以在单轮交互中完成所有商品的定位和检索，将效率提升5倍以上。对于每天处理数百万张图片的平台来说，这种效率提升意味着显著的成本节约。

HyperEyes适用于需要处理复杂多实体视觉查询的专业用户，包括AI研究人员、内容审核团队、电商运营人员以及新闻媒体工作者。对于普通消费者而言，该工具的学习曲线较陡，需要一定的技术背景才能充分发挥其能力。

从发展潜力来看，HyperEyes的技术路线具有很强的可扩展性。未来可以预期其在以下方向的演进：支持更多外部工具（如知识图谱、数据库查询）、扩展至视频多帧搜索、以及针对中文场景的深度优化。此外，模型的轻量化版本（如7B或13B）将有助于降低部署门槛，扩大应用范围。

7. 应用场景

• 多人物视觉推理： 在包含多人的合影或新闻图片中，HyperEyes可以并发识别每个人的身份、职业和历史背景。例如，上传一张国际峰会合影，模型能同时检索出每位与会者的姓名、职务和相关新闻事件，输出结构化的个人档案。

• 电商商品比对： 对包含多个商品的复杂场景图进行并发搜索，获取每个商品的价格、品牌、用户评价和购买链接。用户只需上传一张货架照片或穿搭图，HyperEyes就能自动定位所有商品并返回详细的商品信息对比表。

• 跨模态知识问答： 回答涉及图片中多个物体、地标、艺术品之间关系的复杂查询。例如，上传一张博物馆展品照片，模型可以同时识别每件展品的名称、年代、作者和文化背景，并回答“这些展品之间的年代关系是什么”等深层问题。

• 新闻事实核查： 对包含多人物、多场景的新闻图片并发检索，验证事件真实性与背景信息。新闻编辑室可以用HyperEyes快速核查图片中的每个元素是否与报道内容一致，有效识别虚假新闻和误导性内容。

• 学术图表解析： 对包含多个图表、公式、引用的论文截图进行并行定位与内容检索。研究人员上传论文截图后，HyperEyes可以同时提取每个图表的标题、数据来源和关键结论，辅助文献综述和数据分析工作。

• 社交媒体审核： 对复杂图片中的多个实体并发搜索，快速判断是否存在违规或误导性内容。社交媒体平台可以利用HyperEyes自动审核包含多个元素的广告图片、政治漫画或恶意拼接图，提高内容审核的效率和准确性。

8. 常见问题FAQ

Q：HyperEyes与传统的视觉问答（VQA）系统有何区别？
A：传统VQA系统通常只能回答关于图片整体或单一实体的问题，对于涉及多个实体的复杂查询需要多次交互。HyperEyes通过UGS范式实现了单轮多实体并发搜索，能够同时定位、识别并检索图片中的多个目标，输出结构化的多实体信息。此外，HyperEyes集成了外部搜索工具，能够获取实时信息，而VQA系统通常依赖静态训练数据。

Q：HyperEyes对硬件配置有什么最低要求？
A：30B版本最低需要80GB显存的GPU（如NVIDIA A100 80GB），建议使用双卡A100或H100进行部署。如果显存不足，可以使用量化模式（4-bit或8-bit）将显存需求降低至40GB左右，但推理速度会有所下降。235B版本需要至少320GB显存，建议使用8卡A100或H100集群。CPU推理目前不支持，因为视觉编码器和语言模型的参数量过大。

Q：HyperEyes是否支持中文输入和中文搜索？
A：模型主要针对英文场景进行训练和优化，中文输入的支持有限。虽然模型可以理解中文查询，但在中文多实体搜索任务中，准确率和召回率明显低于英文任务。对于中文场景，建议使用英文描述查询，或等待后续版本的中文优化。外部搜索工具（Bing/Google）支持中文搜索，但模型对中文结果的解析能力较弱。

Q：如何评估HyperEyes的搜索效率？
A：HyperEyes提供了CAS（Cost-Aware Scoring）评分体系，公式为Acc²×100/(N_tok+2N_tool+1)，其中Acc为准确率，N_tok为Token消耗，N_tool为工具调用轮次。该评分将准确率、计算成本和API调用成本统一为单一指标，方便用户在不同配置下进行横向对比。用户可以通过--evaluate参数在推理后自动计算CAS评分。

Q：HyperEyes的开源协议是什么？是否可以商用？
A：HyperEyes采用Apache 2.0开源协议，代码完全开源，支持商业和学术用途。模型权重基于Qwen3-VL，需遵守阿里Qwen系列模型的许可协议。外部搜索工具（Bing/Google API）的使用需遵循各自的服务条款，并可能需要支付API调用费用。

Q：如何解决API限流和网络延迟问题？
A：建议在config/api.yaml中配置多个API密钥，实现自动轮换。同时可以设置请求间隔时间（如request_delay: 0.5秒）和重试机制（如max_retries: 3）。对于生产环境，建议使用企业版API套餐以获得更高的调用配额。如果网络延迟较高，可以考虑部署本地搜索引擎（如Elasticsearch）替代外部API。

9. 项目地址

• GitHub仓库：https://github.com/DeepExperience/HyperEyes
• arXiv技术论文：https://arxiv.org/abs/2605.07177
• HuggingFace模型权重：https://huggingface.co/DeepExperience/HyperEyes-30B