BigSet – TinyFish 开源的多智能体实时网络抓取工具

1. BigSet是什么

BigSet是由美国初创公司TinyFish推出的开源多智能体实时网络抓取系统，采用AGPL-3.0协议。用户仅需用自然语言描述所需数据，系统即可自动推断表结构、派遣智能体从实时网络抓取数据、去重验证，最终生成可导出的CSV/XLSX结构化数据集。基于Mastra框架构建的多智能体编排架构，结合Claude Sonnet与Qwen模型进行语义分析与任务调度，支持30分钟至每周的定时刷新，让数据集保持实时更新。该工具面向数据采集与分析场景，旨在将传统爬虫开发的工作量降为零，让非技术人员也能轻松构建结构化数据集。

技术定位与领域： BigSet属于自然语言处理与多智能体系统交叉领域，专注于实时网络数据采集与结构化数据集生成。其独特定位在于通过自然语言接口替代传统爬虫配置，实现从“描述需求”到“导出表格”的全自动闭环，填补了AI驱动的零代码数据采集工具的空白。

研发背景： 由TinyFish团队开发，该公司在企业级搜索与抓取API领域已处理超过4000万次智能体操作，积累了深厚的网络数据采集经验。研发BigSet的动机源于传统爬虫开发的高门槛——需要编写选择器、处理反爬、维护管道，而大多数业务人员仅需结构化数据。BigSet将多智能体协作、LLM语义理解与自动化采集深度融合，降低了数据获取的技术壁垒。

核心价值： BigSet解决了数据采集领域三大痛点：一是爬虫编写复杂，二是多源数据整合困难，三是数据更新维护繁琐。其创新价值在于将LLM的表结构推断能力与多智能体并行抓取能力结合，用户无需指定URL或字段，系统自主发现数据源并生成关系型数据集，且支持定时刷新与自动去重，大幅提升数据获取效率。

技术特点： 基于Mastra框架构建的多智能体编排系统，编排器负责实体发现与任务分解，子智能体并行抓取单条数据（每人最多6次工具调用）。采用JS闭包注入数据集ID，有效隔离提示词注入攻击。底层依赖TinyFish Search/Fetch/Browser API实现实时网络访问，结合Vercel AI SDK与OpenRouter统一调度Claude Sonnet与Qwen模型。

2. 主要功能

• 自然语言建表： 用户只需用一句话描述所需数据（如“AI初创公司融资信息”），系统自动推断列名、数据类型和主键约束，无需手动设计Schema。该功能基于Claude Sonnet的语义分析能力，从实体关系与数据特征中生成结构化表定义，并作为后续采集的验证基准。

• 多智能体并行采集： 编排器智能体发现目标实体后，将抓取任务拆分为独立单元，分派给多个子智能体并行执行。每个子智能体调用TinyFish Search/Fetch/Browser API从实时网络获取数据，每人最多6次工具调用，自动完成从发现到填充的全流程，显著缩短大规模数据采集时间。

• 自动去重与溯源： 系统基于主键自动去重，确保数据集中每条记录唯一。同时为每行数据附加来源URL，所有数据均可追溯验证，解决了多源采集中的数据冗余与可信度问题。

• 定时刷新： 支持30分钟、6小时、12小时、每日、每周五种频率自动更新数据集。用户设定后，系统按周期重新执行采集流程，保持数据实时同步，适用于动态变化的监控场景。

• 格式导出： 生成结果支持CSV和XLSX两种格式直接下载，方便接入Excel、Tableau、Python Pandas等数据分析工具。导出文件包含完整表头与来源URL列，无需二次清洗。

• 预置数据集： 内置9个精选公开数据集（如科技公司列表、行业报告等），开箱即用。用户可快速体验核心功能，也可基于预置数据集修改描述，生成定制化版本。

3. 如何使用

1. 环境要求： 需要安装Docker（推荐版本20.10+）和Make工具，操作系统建议Linux或macOS。前往TinyFish官网、OpenRouter、Clerk注册账号，获取三类API密钥：TinyFish API Key（用于网络抓取）、OpenRouter API Key（用于LLM调用）、Clerk API Key（用于身份认证）。

2. 克隆仓库与配置： 执行 git clone https://github.com/tinyfish-io/bigset.git 下载项目代码。将根目录下的 .env.example 文件复制为 .env，并填入上述三类API密钥。注意：密钥需保持格式正确，无多余空格或换行。

3. 启动服务： 运行 make dev 命令，系统自动安装依赖、启动Postgres数据库和Convex数据库（用于存储数据集与任务状态）。首次启动可能需要数分钟，待终端显示“服务运行在localhost:3500”即完成部署。

4. 访问使用： 打开浏览器访问 http://localhost:3500，注册并登录后，在输入框中用自然语言描述所需数据（如“2024年AI芯片公司产品参数”），系统自动生成结构化数据集。可实时查看采集进度与结果预览。

5. 加载预置数据（可选）： 执行 make seed-public-datasets 命令，一键加载内置9个精选公开数据集，快速体验核心功能。加载后可在数据集中查看示例，并基于其描述修改生成新数据集。

6. 设置定时刷新： 在数据集详情页选择刷新频率（30分钟/6小时/12小时/每日/每周），系统自动按周期执行采集。注意：频繁刷新会消耗API配额，建议根据数据变化频率合理设置。

4. 优缺点分析

5. 同类工具对比

选型建议： 对于需要快速从零构建结构化数据集、且不愿编写代码的业务分析师或市场研究人员，BigSet的自然语言建表与自动发现能力最具优势。其定时刷新与去重功能尤其适合竞品监控、市场趋势追踪等动态场景。若用户已有明确的目标URL且需要深度爬取（如电商商品详情页），Firecrawl的/agent模式或Scrapy的自定义爬虫更灵活。对于需要云端托管、大规模并发采集的团队，Apify的Actor生态与调度能力更为成熟，但需支付托管费用。BigSet目前更适合中小规模、强调数据隐私与自主可控的用例。

6. 编辑点评

BigSet在技术创新上展现了多智能体系统与LLM在数据采集领域的深度融合。其最大亮点在于将传统爬虫的“技术问题”转化为“业务问题”——用户只需描述数据需求，系统自主完成实体发现、字段推断、并行抓取与去重导出。这种“描述即数据”的范式，本质上是对数据采集工作流的根本性重构，降低了非技术人员的数据获取门槛。从实用价值看，BigSet解决了企业日常运营中频繁的数据收集需求（如竞品监控、行业调研），将原本需要数小时甚至数天的爬虫开发工作压缩到几分钟。其定时刷新功能进一步提升了数据时效性，适合持续追踪动态指标。

然而，BigSet也存在明显局限。首先，对LLM的强依赖意味着表结构推断质量受模型能力制约，在中文或垂直领域可能不够精准。其次，子智能体6次工具调用的限制，使得复杂实体（如需要登录、分页、API调用的数据源）的抓取可能不完整。此外，当前仅支持Claude Sonnet与Qwen两种模型，用户无法切换至其他LLM，灵活度不足。

适用人群方面，BigSet最适合业务分析师、市场研究人员、产品经理等非技术角色，以及需要快速验证数据假设的初创团队。对于专业爬虫工程师，BigSet可作为快速原型工具，但大规模生产环境仍需Scrapy等框架。未来发展潜力上，若TinyFish能开放更多模型选择、增加子智能体工具调用次数上限、并支持自定义数据源规则，BigSet有望成为数据采集领域的“低代码平台”。

7. 应用场景

• 竞品监控： 自动追踪竞争对手的产品价格、功能更新、招聘信息等。用户只需描述“竞品公司X的产品定价与规格”，系统生成结构化数据集并设置每日刷新，持续输出情报表，辅助战略决策。

• 市场研究： 收集特定行业内的公司信息、融资动态、市场份额数据。例如“2024年全球AI芯片初创公司融资轮次与估值”，系统自动跨站点聚合数据，去重后生成行业数据库，支持导出至Excel进行趋势分析。

• 投资分析： 跟踪股票、加密货币、初创公司融资轮次及估值变化。描述“过去一周加密货币交易所的币种上线公告”，系统定时抓取并更新数据集，为投资决策提供实时数据支撑。

• 招聘情报： 监控目标公司或行业的职位发布、技能要求、薪资范围。例如“北京地区AI算法工程师岗位JD与薪资”，系统自动采集多个招聘平台数据，分析人才市场趋势，辅助HR制定招聘策略。

• 电商比价： 抓取多平台商品的价格、库存、评价数据。描述“iPhone 16 Pro Max在京东、淘宝、拼多多的价格与库存”，系统生成比价数据集并定时刷新，帮助消费者或商家掌握价格动态。

8. 常见问题FAQ

Q：BigSet支持中文数据的采集吗？
A：支持。系统底层LLM（Claude Sonnet与Qwen）均具备中文理解能力，自然语言描述可用中文。采集结果中的中文内容会正常保留，但表结构推断的列名可能以英文为主，建议在描述中明确中文列名需求。

Q：采集的数据量有没有限制？
A：受限于TinyFish API的配额和子智能体6次工具调用限制。对于单个数据集，每个实体最多6次抓取尝试；整体数据量取决于API Key的套餐等级。免费版API通常有每日调用次数上限，建议根据数据量选择合适的套餐。

Q：能否自定义采集的网页范围或指定特定网站？
A：当前版本不支持。BigSet的编排器自主发现数据源，用户无法指定URL或过滤网站。若需要精确控制来源，建议使用Firecrawl或Scrapy。未来版本可能增加URL白名单功能。

Q：如何确保采集的数据不侵犯版权？
A：BigSet仅抓取公开可访问的网页数据，用户应自行遵守目标网站的robots.txt和法律法规。工具本身不提供绕过反爬或付费墙的功能，建议仅用于合法数据采集。

Q：部署时遇到“make dev”失败怎么办？
A：常见原因是Docker版本过低或端口冲突。确保Docker版本≥20.10，且本地3500端口未被占用。若数据库启动失败，检查.env文件中的密钥是否完整，以及Postgres/Convex镜像是否拉取成功。

Q：能否将BigSet集成到自己的应用或工作流中？
A：可以。BigSet提供REST API（文档见GitHub），支持通过HTTP接口创建数据集、触发采集、获取结果。开发者可利用API将其集成到数据管道、BI工具或自定义应用中。

9. 项目地址

• GitHub仓库： https://github.com/tinyfish-io/bigset
• TinyFish官网： https://tinyfish.io （获取API密钥与文档）
• OpenRouter： https://openrouter.ai （LLM调用密钥）
• Clerk： https://clerk.com （身份认证密钥）