SearchOS – 蚂蚁集团等开源的多智能体搜索协作框架

1. SearchOS是什么

SearchOS是由中国人民大学高瓴人工智能学院与蚂蚁集团联合开源的多智能体搜索协作框架。该框架借鉴关系型数据库的设计理念，将开放域信息检索抽象为动态关系模式，并引入面向搜索的上下文管理（SOCM）、流水线并行调度以及搜索工具中间层等系统级机制，从架构层面解决长程搜索任务中Agent失忆、重复查询、来源脱钩等核心痛点，实现多Agent共享状态、高效协作与全链路证据追溯。框架旨在为需要高召回率和结构化输出的复杂信息收集任务提供一套工业级的多Agent协作基础设施。

技术定位与领域： SearchOS属于多智能体系统与信息检索的交叉领域，定位为面向复杂信息收集任务的搜索智能体操作系统。它与传统的单Agent搜索工具或基于对话上下文的通用Agent框架不同，通过将搜索状态外化到系统层面并引入关系型抽象，使得信息检索过程变得结构化、可追溯且易于并行扩展。该框架特别适合竞品调研、学术综述、尽职调查等需要系统性枚举和交叉验证的场景。

研发背景： 由中国人民大学高瓴人工智能学院与蚂蚁集团联合研发，团队在自然语言处理、信息检索和多智能体协作方面拥有丰富积累。研发动机源于现有Agent框架在长程搜索任务中普遍存在的系统性问题：Agent在长时间运行后会丢失早期上下文，导致重复查询和遗漏；搜索结果与来源之间的关联脆弱，难以追溯验证；多Agent之间缺乏有效的状态共享机制。SearchOS正是为填补这一空白而设计。

核心价值： SearchOS从根本上解决了长程搜索任务中Agent“失忆”导致的信息遗漏和重复劳动问题。通过将搜索状态从对话上下文迁移到系统基础设施，实现了跨Agent的实时状态同步和进度可视化，使得大规模信息收集任务可以高效、有序地完成。同时，每个结论都附带可回溯的原文引用，满足“尽量找全、每条都有出处”的严谨性要求，显著提升了信息收集的可信度和效率。

技术特点： 核心技术特点包括：基于动态关系模式的信息组织方式，随实体发现实时演化表结构，实验证明其效果优于预先固定的最优结构；流水线并行调度机制，通过错峰推进和连续派发将任务完成时间降低约24%，LLM调用次数减少约13%；三层搜索工具中间件（上下文、传感器、证据抽取）实现智能干预，防止循环和停滞；预置约280个层次化技能，覆盖搜索策略和网站访问技巧，使用技能后搜索时间缩短36.6%。

2. 主要功能

• 关系搜索模式构建： 系统将用户自然语言查询自动解析为包含表结构、主键与外键的动态关系模式。在搜索过程中，随着新实体的发现，模式中的表结构和属性会实时扩展和补全，使得信息组织方式始终贴合当前任务需求。这种动态演化机制避免了固定模式在应对多样查询时的灵活性不足，实验表明即使预先指定最优固定结构（Oracle），效果仍低于SearchOS的动态模式。

• 多智能体协作搜索： 采用Orchestrator统一规划调度，Explore Agent负责发现候选实体并扩展搜索边界，Search Agent执行并行子任务对具体实体进行信息收集，Writer Agent最终生成结构化报告。各Agent通过共享状态协同工作，Orchestrator根据进度动态调整任务分配和优先级，实现高效的团队协作，避免了任务冲突和资源浪费。

• 面向搜索的上下文管理（SOCM）： 维护Frontier Tasks、Evidence Graph、Coverage Map、Failure Memory四类共享状态。Frontier Tasks记录待探索的子任务，Evidence Graph存储已收集的证据及其关联，Coverage Map可视化信息覆盖程度，Failure Memory记录失败尝试以避免重复。这种状态外化机制从根本上消除了长程任务中的上下文丢失和重复查询问题，所有Agent通过查询共享状态获取全局信息。

• 搜索工具中间层： 在模型与搜索工具之间插入三层中间件。Context Middleware控制注入模型的上下文规模，防止超长上下文导致推理性能下降；Sensor Middleware检测搜索循环或停滞，触发策略切换（如更换搜索词或调整技能）；Evidence Extraction Middleware完成证据的结构化抽取、citation锚定与入库，确保每条数据都有准确出处，支持从结论回溯到网页原文的具体位置。

• 层次化技能库： 预置约280个技能，分为策略技能和访问技能两大类。策略技能包括排名检索、多跳搜索、实体消歧、同义词扩展等；访问技能包括处理反爬机制、登录墙验证、动态页面渲染、JavaScript执行等。Agent可根据任务类型和当前进度自动选择合适的技能组合，实验表明使用技能后搜索时间缩短36.6%，API调用次数降低39%-43%。

• 实时进度追踪： 支持CLI、全屏TUI和Web工作台三种交互界面。用户可实时观察Schema补全进度、Coverage Map的覆盖状态、各Agent当前执行的任务流以及每条证据的详细信息。Web工作台提供最丰富的可视化面板，支持任务中断后恢复，用户可随时复盘历史搜索轨迹与证据链，灵活管理长程搜索任务。

3. 如何使用

1. 环境准备与安装： 首先从GitHub仓库克隆项目代码：git clone https://github.com/antins-labs/SearchOS.git。进入项目目录后，根据requirements.txt安装Python依赖：pip install -r requirements.txt。建议使用Python 3.10及以上版本，并在虚拟环境中进行安装。随后运行配置向导（如python setup.py --configure），依次选择所使用的模型服务商（如OpenAI、Anthropic或兼容接口）并输入对应的API Key。配置完成后，系统会自动验证连接有效性。

2. 启动系统界面： SearchOS提供三种交互界面。执行python searchos.py --cli启动轻量级命令行模式，适合远程服务器或无图形界面环境；python searchos.py --tui启动全屏终端界面，提供更丰富的实时信息展示；python searchos.py --web启动Web研究工作台，默认监听本地8000端口，通过浏览器访问即可获得完整的可视化操作面板。用户可根据使用场景和偏好选择，具体命令以项目文档为准。

3. 输入查询任务： 在搜索界面中输入自然语言问题，例如“列出2024年全球AI融资额前10的公司及其估值、主要业务和所属国家”。系统会自动解析任务类型并初始化关系模式。用户也可以预先指定部分表结构作为初始提示，例如定义“公司”表包含“名称、融资额、业务”等列，以引导搜索方向。支持批量输入多个相关查询，系统会自动合并任务。

4. 实时监控搜索进度： 任务启动后，用户可通过界面实时查看Schema的补全进度、Coverage Map的覆盖百分比、各Agent当前执行的任务以及已收集的证据条目数量。Web工作台提供动态更新的仪表盘，显示Frontier Tasks队列长度、失败记录统计等。如果发现某个方向进展缓慢，可以手动调整搜索策略或补充提示词，系统会即时响应并重新规划任务。

5. 审阅与导出结果： 任务完成后，系统输出结构化报告，每条数据均附带citation，可点击回溯至原始网页的具体位置（支持锚点到段落级别）。结果可以导出为CSV、JSON或Markdown格式，方便后续分析或集成到其他工具中。用户还可以在Web工作台中对结果进行在线编辑和批注。

6. 中断与恢复： 长程任务支持随时中断（如按Ctrl+C），系统会自动将当前搜索状态保存到本地文件（默认保存在./searchos_state/目录下）。下次启动时，使用--resume参数并指定状态文件路径，即可继续之前的任务，所有进度、证据链和Agent状态完整保留，无需重新开始。

4. 优缺点分析

5. 同类工具对比

在需要高召回率、结构化输出的复杂信息收集场景（如竞品调研、学术综述、尽职调查），SearchOS凭借其动态关系模式、系统级状态管理和丰富的预置技能，能够显著提升搜索效率和质量，是目前最专业的选择。Web2BigTable在表格信息收集方面有一定基础，但灵活性和性能指标均落后于SearchOS。

对于更通用的多Agent协作任务，如对话式问题解答、代码生成、内容创作等，AutoGen和CrewAI提供了更灵活的框架，开发者可以根据需求自定义Agent角色、工具和对话流程。但若要在搜索任务中达到SearchOS的效果，需要投入大量定制开发工作，包括实现状态管理、调度优化和技能库构建。因此，选型应基于任务类型：搜索密集型任务优先选择SearchOS；通用协作任务选择AutoGen或CrewAI；若需快速构建表格信息收集应用，Web2BigTable可作为轻量替代。

6. 编辑总结

SearchOS在技术架构上的核心创新在于将搜索状态从Agent上下文外化到系统基础设施，这一设计从根本上解决了长程Agent任务中的信息丢失和重复查询问题，为多Agent协作系统提供了一种可借鉴的架构范式。动态关系模式与流水线并行调度的结合，使得大规模信息收集任务能够高效、有序地进行，实验数据（WideSearch Item F1 80.3、GISA Set F1 76.5）验证了其在召回率和准确率上的显著优势。与通用多Agent框架相比，SearchOS更专注于搜索领域，提供了更专业的技能库和三层中间件机制，降低了开发者在搜索任务上的定制成本。

从实用价值来看，SearchOS非常适合需要系统性收集结构化信息的场景，如市场调研、学术文献综述、投研尽职调查等。其全链路证据追溯功能特别适合对信息出处有严格要求的用户，每个结论都可回溯至原始网页的具体位置，提升了结果的可信度。目前框架已开源，社区可以在此基础上进行二次开发和功能扩展，推动搜索智能体技术的发展。

适用人群包括：需要进行大规模信息收集的研究人员、分析师、产品经理；希望构建搜索Agent的开发者；以及对多Agent系统设计感兴趣的技术人员。当前框架主要针对英文环境优化，中文支持有待加强，这是其后续发展的重要方向。从技术路线来看，状态外化和动态模式的设计具有可扩展性，为后续功能增强（如多模态搜索、实时流式接入）奠定了基础。

7. 应用场景

竞品与市场调研： 系统性地收集竞品公司的融资轮次、产品功能、定价策略、市场份额等信息，生成带出处的大规模对比表。用户只需输入目标市场和竞品名称，SearchOS会自动发现相关实体并补全属性，最终输出结构化报告，每条数据均可回溯至原始来源，支持导出为CSV或Markdown格式，直接用于报告撰写。

学术文献综述： 针对特定研究方向，枚举相关论文、作者、机构、发表会议，并补全关键结论与方法摘要。SearchOS的动态关系模式可以灵活适应不同学术领域的信息结构，通过多跳搜索发现引用网络，Coverage Map确保高覆盖率，适合撰写系统性综述的前期信息收集。

投研与尽职调查： 追踪目标企业的股东结构、高管变动、诉讼记录、财务数据，实现多源交叉核验。系统通过多层次搜索和证据追溯，确保信息的准确性和全面性，失败记忆机制可避免重复访问无效来源，适合对时效性和可靠性要求较高的金融场景。

产品对比与选型： 收集同类产品的技术参数、用户评价、价格区间，生成结构化对比报告辅助决策。SearchOS的技能库中包含反爬和动态页面处理技能，能够从电商、评测网站等各类平台提取信息，并自动对齐不同来源的数据格式。

开放域知识枚举： 如“列出2000年以来所有菲尔兹奖得主及其所属机构与国家”等需要高召回率的信息收集任务。SearchOS的流水线并行调度和Coverage Map机制能够高效枚举并验证结果，实时进度追踪让用户清晰了解覆盖程度，避免遗漏。

8. 常见问题FAQ

Q：SearchOS如何解决长程任务中的Agent失忆问题？
A：SearchOS通过面向搜索的上下文管理（SOCM）将搜索状态外化到系统基础设施，维护Frontier Tasks、Evidence Graph、Coverage Map、Failure Memory四类共享状态。所有Agent通过查询共享状态获取任务进度和历史信息，而不是依赖自身对话上下文，从而避免了上下文丢失导致的失忆和重复查询。这种设计使得即使Agent重启或切换，状态依然保持完整。

Q：SearchOS支持哪些大模型作为底层推理引擎？
A：SearchOS设计为模型无关，支持通过配置接入多种大模型API，包括OpenAI的GPT系列（GPT-4o、GPT-4等）、Anthropic的Claude系列、以及通过兼容接口接入的其他模型（如本地部署的LLaMA等）。用户需要在配置向导中设置相应的API Key和模型名称，系统会自动适配接口格式。

Q：SearchOS的动态关系模式是如何工作的？
A：系统在接收到用户查询后，会初始化一个关系模式，包含表结构、主键和外键。在搜索过程中，Explore Agent发现新实体时，模式会自动扩展，添加新的表或属性。例如，搜索“AI公司”时，初始模式可能只有“公司”表，随着发现融资信息，会自动添加“融资轮次”表并建立外键关联。这种动态演化使得信息组织方式始终贴合任务需求，比预先固定模式更灵活、更准确。

Q：SearchOS的搜索工具中间层有什么具体作用？
A：搜索工具中间层包含三个组件：Context Middleware控制注入模型的上下文长度，防止超长上下文影响推理性能，并自动裁剪冗余信息；Sensor Middleware检测搜索循环或停滞（如重复返回相同结果），触发策略切换（如更换搜索词或调整技能）；Evidence Extraction Middleware完成证据的结构化抽取、citation锚定和入库，确保每条数据都有准确出处，支持从结论回溯到网页原文的具体段落。

Q：SearchOS的实时进度追踪支持哪些界面？
A：支持三种界面：命令行界面（CLI）提供轻量级文本输出，适合脚本集成；全屏终端界面（TUI）在终端内展示动态仪表盘，适合开发者使用；Web研究工作台提供最丰富的可视化信息，包括Schema补全进度、Coverage Map热力图、Agent任务流甘特图、证据条目列表等，并支持中断后恢复和历史轨迹复盘。

Q：SearchOS的预置技能库包含哪些类型的技能？
A：技能库包含约280个技能，分为策略技能和访问技能。策略技能包括排名检索（如Google Search API）、多跳搜索（通过引用链发现新来源）、实体消歧（区分同名不同实体）、同义词扩展等；访问技能包括处理反爬（如更换User-Agent、使用代理）、登录墙绕过、动态页面渲染（使用Headless浏览器）、JavaScript执行等。Agent会根据任务类型和当前进度自动选择最优技能组合。

Q：SearchOS的部署对硬件有什么要求？
A：SearchOS本身是轻量级的框架，主要消耗在于底层大模型的推理。如果使用云API，本地仅需一台普通服务器（4核CPU、8GB内存）即可运行调度和中间件；如果使用本地模型，则需要根据模型大小配置相应GPU（如运行7B模型需要至少16GB显存）。建议使用Linux操作系统以获得最佳兼容性。

9. 项目地址

• 项目官网：https://antins-labs.github.io/SearchOS/
• GitHub仓库：https://github.com/antins-labs/SearchOS
• arXiv技术论文：https://arxiv.org/pdf/2607.15257