Firecrawl

Firecrawl 是什么？

Firecrawl 是一款网页抓取 API，可以搜索网页、抓取单个页面或整个网站，并操作页面，返回 AI 应用可直接使用的干净 Markdown 或结构化 JSON。公司将它概括为：用一个 API 把网站变成干净、可供 LLM 使用的数据。

该服务由 SideGuide Technologies, Inc. 运营，这是一家以 Firecrawl 名义经营的特拉华州公司。独立科技媒体称它是面向开发者和 AI 智能体的热门开源网页爬虫，并通过 API 销售有商业支持的版本。

开源代码与托管服务之间的这种划分，左右着大多数采购决策。开源仓库主要采用 AGPL-3.0 许可，SDK 和部分 UI 组件则采用 MIT 许可。托管版运行在 Fire-engine 上，公司称之为自家用于代理、渲染等用途的专有基础设施。Firecrawl 在官网称，有超过 125 万名开发者和 150,000+ 家公司在用它构建产品，其中包括 Apple、Canva 和 Lovable 的团队（2026 年 9 月 28 日记录）。三位联合创始人于 2022 年创办了公司。2026 年 9 月 22 日，Firecrawl 宣布完成由 Smash Capital 领投的 7,500 万美元 B 轮融资。

核心功能

端点

• Search：发送查询即可获得网页结果，且已附带整页 Markdown，因此一个问题无需先搜索、再单独抓取。
• 搜索来源：一次调用可以混合网页、新闻和图片结果，此时 limit 参数按每种来源类型分别生效，而不是作用于合并后的列表。
• 搜索类别：categories 过滤器可把结果限定为学术和研究网站、PDF，或由公开代码仓库中的 issue、已合并 pull request 和 README 组成的开发者索引。research 类别计划于 2026 年 11 月 16 日切换为论文索引。
• Scrape：给 Firecrawl 一个 URL，它会返回 Markdown、HTML、截图、元数据，或通过 schema 提取的数据。
• Crawl：从一个 URL 出发，递归发现并抓取所有可到达的子页面，通过 sitemap 和链接遍历来查找页面。
• Map：发现网站上的 URL 而不抓取其内容，适合用来划定抓取范围。
• Interact：点击按钮、填写表单、走完多步流程，用于获取位于登录、分页或一系列操作之后、普通抓取无法到达的数据。

抓取上限默认为 10000 页，因此除非修改上限，大型网站的抓取会在达到该数量时停止。

输出格式与提取

Scrape 的输出包括 Markdown、摘要、清理后的 HTML、原始 HTML、截图、链接、JSON、图片 URL、品牌信息、商品记录、来自受支持视频 URL 的音频或视频，以及自然语言查询格式。向 /scrape 传入 JSON schema，就会返回完全符合该结构的数据，例如商品列表、价格表或联系方式，无需另行解析。JavaScript 会自动渲染，因此单页应用和动态加载的网站能返回完整内容。除 HTML 外，该服务还能解析 PDF 和 DOCX 文件。

缓存与时效

默认情况下，只要存在两天内的副本（maxAge 为 172,800,000 毫秒），Firecrawl 就从缓存返回结果。把 maxAge 设为 0 会强制重新获取，文档称这样耗时更长，也更容易失败。

厂商自报的性能

Firecrawl 称，在其自有的 1,000 个 URL 基准数据集上（2026 年 1 月 13 日运行）覆盖率为 96%，同一数据集上的 P95 延迟为 3,387 毫秒。这些是公司自行运行并发布的测量，并非独立测试。

使用指南

首次跑通的路径很短，每一步都会解锁更多 API 能力：

1. 先不用密钥。无密钥使用免费，但每个 IP 地址每天受请求上限和积分上限约束，Interact 或 JSON 提取等较重的操作会更快触及积分上限。
2. 需要 crawl、map、batch scrape 或 extract 时再添加 API 密钥，因为没有密钥时其他端点（crawl、extract、map、batch scrape 等）都不可用。
3. 用一条命令接入编程智能体：npx -y firecrawl-cli@latest init --all --browser。官网称这能为 Cursor、Claude Code、Windsurf 等提供网页工具。
4. 通过 API 取回抓取输出：任务完成后 24 小时内可通过 API 获取结果，之后抓取历史仍可在控制台的活动日志中查看。
5. 查看 crawl errors 端点以发现遗漏，其中 robotsBlocked 列出已尝试但被网站 robots.txt 拦截的 URL。

Firecrawl 使用场景与示例

公司列出的常见用途包括深度研究智能体、RAG 管道、线索补全、竞争情报、内容生成和价格监控。其公开的客户案例把这些类别对应到具体团队：

• 聊天知识库：Sierra 用 Firecrawl 把网页数据导入知识库，为 AI 聊天应用提供支撑。
• 线索补全：Cognism 借助 Firecrawl 从全网补全线索档案。
• 产品引导：Gamma 在新用户引导环节让用户借助 Firecrawl 用网页数据创建作品。
• 智能体研究：Aemon 用 Firecrawl 的搜索和抓取驱动其 AI 研发智能体的网页研究。

这四个示例都来自 Firecrawl 自己的网站，展示的是各团队的用法模式，而非实测效果。

适用人群

Firecrawl 自己的指南围绕“由谁运行基础设施”来划分选择。它的建议是先用 Firecrawl Cloud，除非获得源码或掌控基础设施值得付出相应的运维工作。

• 想要托管服务的 AI 与 RAG 开发者：Cloud 把 API 密钥、积分、限额和运维支持集中在一个账户里，而且 Agent、Browser、托管控制台、增强代理路径和企业管控只在 Cloud 提供。
• 需要掌控源码或基础设施的团队：自托管让你能审查代码并决定整套系统运行在哪里，但身份验证、TLS、持久化、监控、容量、升级和恢复都由你的团队负责。
• 受监管或对安全敏感的组织：单点登录和 SCIM 配置仅限 Enterprise。API 密钥限制、API 密钥 IP 限制和静态出口 IP 同样仅限 Enterprise。
• 业余项目：Hobby 套餐面向业余项目和小工具，提供 5 个并发请求。

支持平台

Firecrawl 可通过 REST API、官方 SDK、CLI 和 MCP 服务器使用，也可以自托管。

• SDK：官方库覆盖 Python（同步和异步）、Node.js 和 TypeScript、Go、Java、Ruby、Rust、.NET、PHP 和 Elixir，另有一个命令行工具。
• MCP 与智能体工具：官方 MCP 服务器让 Cursor、Claude、Windsurf 及其他兼容 MCP 的工具中的智能体直接搜索、抓取和交互，面向 Claude Code 和 Codex 的智能体技能负责完成设置。
• MCP 登录方式：无密钥的 MCP 路径在每日限额内提供 Search、Scrape 和 Parse，无需账户或密钥；浏览器登录和 API 密钥则可按团队套餐使用全部工具。
• 自托管：Docker Compose 指南带你从一个固定版本走到一次经过验证的抓取。

自托管默认技术栈还有一处缺口：截图和页面操作不可用，因为两者都需要 Fire-engine。

价格套餐

Firecrawl 价格按积分（credits）计算，无论账单地址在哪里，所有发票均以美元结算。下表把同时显示两种计费周期的套餐列表与套餐对比合在一起。

年付套餐每年扣款一次，但积分仍按虚拟的每月续期日逐月重置。/crawl 和 /agent 端点另有一套更低的限制，从 Free 的每分钟 2 次请求到 Scale 的 2,000 次。批量抓取端点与 crawl 共用限额。付款经由 Stripe 处理，支持大多数主流信用卡、借记卡以及 PayPal。

一个积分能买什么

Scrape、Crawl、Map 和 Monitor 按每页 1 积分计价，Search 每 10 条结果 2 积分。Search 按每 10 条结果向上取整，因此 11 条结果花 4 积分。Scrape 选项在基础费率上叠加：JSON 提取每页另加 4 积分，同时使用 JSON 格式和零数据保留（Zero Data Retention）抓取的页面花 6 积分。Agent 处于预览阶段，每天有 5 次免费运行，之后按动态价格计费。

有两项单价在不同页面上并不一致。价格页列出 Interact 为每浏览器分钟 2 积分；计费文档则称使用提示词的会话按每浏览器分钟 7 积分计费，纯代码会话按 2 积分。计费文档还把 Map 列为每次调用 1 积分，而不是每页。

充值、结转与退款

• 按量付费：在付费套餐上，每次自动充值花 5 美元，Hobby 增加 1,000 积分，Standard 2,000，Growth 2,500，Scale 5,000，最多到你设定的每月上限。
• 超额额度：开启按量付费时，积分归零后请求还能短暂继续运行，额度为 Hobby 1,500 积分、Standard 30,000、Growth 150,000、Scale 600,000，用完后返回 HTTP 402。
• 购买的积分：购买的积分在用完前一直有效，但取消订阅后会失效。
• 用尽时：在 Free 上，消耗积分的请求会返回 HTTP 402，直到每月重置。
• 失败请求：未返回结果的抓取不收费，但返回 403 或 404 等错误的页面仍花 1 积分。
• 变更套餐：升级会立即收取新套餐全价，不按比例折算。
• 降级：降级要等到下次续期，未用时间不折抵也不退款。
• 退款：服务条款称 Firecrawl 不因任何理由退款，但你可以随时取消并停止后续扣费。

各官方页面对结转规则的说法相互冲突。价格页称 Scale 可将未用积分结转一个月，Enterprise 的结转量为定制，Hobby、Standard 和 Growth 不结转。计费文档则称年付 Scale 套餐的未用套餐积分结转 1 个月，年付 Enterprise 套餐结转 2 个月。

Firecrawl 替代品

在开发者社区的讨论中，Firecrawl 与 Tavily、Exa、Perplexity 和 Linkup 一同被提及，都是供智能体搜索网页的工具。

• Crawl4AI：其维护者称，你可以自己运行这个开源爬虫、永久免费，也可以只用一个密钥使用托管版。该项目采用 Apache License 2.0，相对 AGPL 许可的 Firecrawl 核心是一种宽松许可的替代。
• Tavily：公司称 Tavily 是面向 AI 智能体的实时搜索引擎，提供网页搜索和内容提取 API。它适合从问题而非已知 URL 出发的工作负载。
• Apify：公司称其提供数千种工具，用于获取实时网页数据、跟踪竞争对手、挖掘线索以及集成应用和 AI 智能体。这使它更像一个覆盖面更广的自动化目录，而不是单一的抓取 API。
• 自托管 Firecrawl：同样的核心 API，通过自己的基础设施和服务商成本而非积分付费，但没有仅限 Cloud 的功能。

Firecrawl 发布了与其中许多工具的对比页，但这些页面由 Firecrawl 撰写，是在为自家产品说话。

注意事项

抓取规则与责任

• robots.txt：除非启用 ignoreRobotsTxt，否则会遵守 robots.txt，而该覆盖选项仅限 Enterprise。
• 爬虫身份：crawl 端点还会遵守针对 'FirecrawlAgent' 指令设置的 robots.txt 规则。
• 用户责任：项目 README 称，抓取时遵守网站政策完全是最终用户自己的责任。
• 付费来源：公司称已通过单独协议向官方数据提供方付费，最典型的是 Wikimedia Enterprise。
• 禁止用途：条款排除了硬性背景调查、判定政府许可资格，以及数据隐私法（包括 GDPR 或 CCPA）禁止的任何用途。

运行限制

• 速率限制与队列：速率限制和并发限制都按套餐设定，超出任一项都会返回 429 响应。
• 共享计数：速率限制按团队计算，同一团队的所有 API 密钥共用同一组计数。
• 短时文件：截图 URL 在 24 小时后过期。
• 自托管快速入门：文档中的受信网络快速入门会关闭 API 身份验证，并非生产架构。

隐私与数据处理

零数据保留（Zero Data Retention）在请求结束后不保留任何页面内容或提取数据，仅在 Enterprise 套餐提供，每页另加 1 积分。ZDR 模式下无法截图。在 ZDR 之外，把 storeInCache 设为 false 可让 Firecrawl 不缓存该请求的结果。所有套餐都列有 SOC 2 Type II、渗透测试、多因素认证和 PII 脱敏。数据处理协议从 Standard 套餐起列出。隐私政策称，个人信息会一直保留到你书面请求删除为止。在所查阅的隐私政策和条款中，未找到关于将客户数据用于模型训练的说明。

FAQ

Q1. Firecrawl 可以免费使用吗？

可以，但有限制。Free 套餐每月提供 1,000 积分，无需绑卡；无密钥访问可在每 IP 每日上限内使用 search、scrape 和 interact。付费套餐起价每月 $19，按年付费为每月 $16。

Q2. Firecrawl 遵守 robots.txt 吗？

默认遵守。忽略 robots.txt 是仅限 Enterprise 的选项，而且该项目把遵守各网站政策的责任放在用户身上。

Q3. 开源版缺少什么？

默认自托管技术栈不含 Agent、Browser、Interact、控制台、企业管控、截图或页面操作。基于 LLM 的提取需要你自己的兼容 OpenAI 的服务商或 Ollama。

Q4. 积分用完会怎样？

Free 账户会收到 HTTP 402 错误，直到每月重置。付费套餐开启按量付费时，Firecrawl 会自动购买更多积分，直至你的每月上限；未开启时，请求同样返回 402。