wigolo – 开源的本地搜索工具，支持接入多种编程 Agent

1. wigolo是什么

Wigolo是一款开源的本地搜索工具，通过MCP协议接入Claude Code、Cursor等编程Agent，实现零成本、本地化的搜索、网页抓取、全站爬取、结构化提取、缓存和研究。它支持18个搜索引擎并行查询，结果附带可解释评分与原文引用，所有数据保存在本地，确保隐私和安全。

技术定位与领域： 属于开源本地搜索与数据提取工具领域，定位为AI Agent的本地网络智能层，为编程Agent提供实时的网页搜索、抓取和结构化数据能力，无需依赖云服务。

研发背景： 由开发者@KnockOutEZ个人开源，旨在解决现有搜索工具依赖云端API、成本高、数据隐私风险大的问题，为开发者提供完全本地化、零成本的搜索解决方案。

核心价值： 无需API Key、无需注册，所有操作在本地完成，数据不出设备，断网可用。提供并行搜索、智能抓取、持久缓存、结构化提取等功能，结果完全可解释，适合AI编程辅助、技术调研等场景。

技术特点： 基于Node.js 20+，通过MCP协议与Agent集成；内置18个搜索引擎并行查询和设备端ML重排序；采用分层路由抓取（HTTP→无头浏览器）；本地混合索引支持关键词和语义检索。

2. 主要功能

• search： 并行调用18个搜索引擎，通过设备端ML重排序返回带可解释评分的搜索结果。每条结果附带字节级原文摘录、引用ID和评分分解，确保结果透明可验证。

• fetch： 采用分层路由策略抓取网页，从纯HTTP请求自动升级到TLS伪装和无头浏览器，智能应对反爬机制和SPA页面。失败时明确告知原因，不隐瞒错误。

• crawl： 支持BFS、DFS和站点地图模式的全站爬取，自动遵守robots.txt并去重。可用于批量采集网站内容，生成结构化数据集。

• extract： 从页面中提取表格、元数据、JSON-LD以及自定义JSON模式的结构化数据。无需编写复杂解析规则，即可将网页内容转化为机器可读格式。

• cache： 将抓取内容存入本地混合索引（关键词+语义向量），重复查询毫秒级响应且离线可用。适合构建个人知识库，减少重复网络请求。

• research： 自动分解复杂问题为多个子查询，并行获取资源后合成带引用来源的结构化研究报告。适用于技术调研、竞品分析等需要综合信息的场景。

• agent： 执行“计划→搜索→获取→提取→合成”的自主收集循环，附带步骤日志和时间预算。可让Agent自主完成多步信息收集任务。

• diff + watch： 监控页面自上次访问后的变化，并将变更结果推送到指定webhook。适合追踪文档更新、价格变动等动态信息。

3. 如何使用

1. 环境要求： 确保本地已安装Node.js 20或以上版本。Wigolo基于Node.js运行，无需Python或Docker，对操作系统无特殊限制（Windows、macOS、Linux均可）。

2. 一键安装与初始化： 在终端运行 npx wigolo init，该命令会自动下载无头浏览器引擎（Chromium）和设备端ML模型。整个过程无需手动配置，等待完成即可。

3. 健康检查： 执行 npx wigolo health 验证搜索、浏览器和设备端模型是否正常运行。如果所有组件通过，即可开始使用。

4. 可选LLM配置： 如需使用research或agent功能，需配置LLM后端。推荐设置免费Gemini API Key（环境变量 GEMINI_API_KEY），或启动本地Ollama服务并指定模型。

5. 在Agent中调用： 在支持MCP协议的Agent（如Claude Code、Cursor）中，Wigolo自动注册为工具。用户可通过自然语言直接发起搜索、抓取等操作，无需手动切换工具。

6. CLI直接使用： 也可通过命令行直接调用，例如 npx wigolo search "query"、npx wigolo fetch <url>、npx wigolo crawl <url>。所有结果以JSON格式输出，便于脚本处理。

7. 本地缓存复用： 所有抓取数据自动存储在 ~/.wigolo/ 目录，支持离线检索和语义查询。重复请求会优先返回缓存结果，节省带宽和时间。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要本地优先、零成本且注重隐私的开发者，Wigolo是理想选择，尤其适合AI编程辅助和个人知识库构建。其内置搜索和缓存能力可显著减少对外部API的依赖。对于需要大规模、可靠云端抓取的商业项目，Firecrawl更合适，但其闭源和API费用需纳入成本考量。如果团队仅需搜索API快速集成到Agent，Tavily提供便捷的搜索接口，但缺乏本地缓存和抓取能力，适合快速原型开发。Jina Reader适合需要开源网页提取工具的场景，但需额外配合搜索工具才能完成完整的搜索-抓取流程。

6. 编辑总结

Wigolo在技术创新上体现了“本地优先”理念与MCP协议的结合，将搜索、抓取、缓存、研究等能力封装为统一工具，供编程Agent直接调用。其并行搜索与设备端ML重排序的架构，在不依赖云端算力的情况下实现了较好的结果质量，字节级原文摘录和评分分解则让结果可追溯、可验证，这在同类工具中较为少见。实用价值方面，零成本、无需API Key、离线可用的特性大幅降低了开发者的使用门槛，尤其适合个人开发者、小团队以及注重数据隐私的场景。适用人群主要包括AI应用开发者、技术调研人员、数据采集者以及需要构建本地知识库的用户。从发展潜力看，随着AI Agent生态的快速扩张，本地化、可解释的网络信息获取工具将成为Agent能力拼图中的重要一环，Wigolo的开放架构（AGPL-3.0）和MCP集成模式为其后续扩展更多功能（如更多搜索引擎、自定义渲染策略）留下了空间。总体而言，Wigolo在特定细分领域提供了差异化的解决方案，值得关注。

7. 应用场景

• AI编程辅助： Agent在编写代码时，可通过Wigolo自动搜索最新API文档、官方教程和最佳实践，无需手动切换浏览器。本地缓存机制使重复查询毫秒级响应，提升开发效率。

• 技术调研与竞品分析： 研究人员可让Agent自主搜索、抓取多个技术博客和文档站点，利用research功能合成带引用的结构化研究报告，节省大量手动收集时间。

• 全站数据抓取： 批量爬取产品目录、价格信息、论文库或新闻站点，使用crawl和extract功能提取表格和结构化数据到本地，支持BFS/DFS和站点地图模式。

• 本地知识库构建： 将频繁查阅的文档和网页缓存到本地，形成个人或团队的离线可检索知识库。cache功能支持关键词和语义检索，断网也可查询。

• 页面变更监控： 使用diff+watch功能持续监控竞品官网、文档更新页或价格页面，变更时通过webhook自动通知，适合竞品跟踪和信息更新。

8. 常见问题FAQ

Q：Wigolo是否需要GPU？
A：不需要。Wigolo的设备端ML重排序在CPU上运行，无需GPU，对硬件要求较低。

Q：Wigolo是否支持中文搜索？
A：Wigolo本身是搜索工具，依赖底层搜索引擎，支持中文查询，但结果质量取决于所用搜索引擎的中文能力。

Q：如何配置research和agent功能？
A：需要设置Gemini API Key或本地Ollama模型。在环境变量中配置GEMINI_API_KEY，或启动Ollama服务并指定模型即可。

Q：缓存数据存储在哪里？如何管理？
A：缓存数据存储在~/.wigolo/目录，包括索引和抓取内容。可以手动删除该目录，或通过配置限制缓存大小。

Q：Wigolo与Firecrawl的主要区别是什么？
A：Wigolo是本地优先、开源免费，支持搜索和持久缓存；Firecrawl是云端闭源商业产品，专注于抓取和结构化提取，无内置搜索和本地缓存。

Q：是否支持自定义搜索引擎？
A：目前Wigolo内置18个搜索引擎，不支持用户自定义添加，但可通过配置调整搜索参数。

9. 项目地址

• 产品官网： https://knockoutez.github.io/wigolo/
• GitHub仓库： https://github.com/KnockOutEZ/wigolo