Firecrawl

Что такое Firecrawl?

Firecrawl — это API для веб-скрапинга, который ищет в интернете, скрапит отдельные страницы или целые сайты и управляет страницами, возвращая чистый Markdown или структурированный JSON, готовый для ИИ-приложений. Компания описывает его как единый API, превращающий сайты в чистые данные, готовые для LLM.

Сервис управляется компанией SideGuide Technologies, Inc., корпорацией из Делавэра, ведущей бизнес под названием Firecrawl. Независимые технологические издания описывают его как популярный веб-краулер с открытым исходным кодом для разработчиков и ИИ-агентов, коммерчески поддерживаемая версия которого продаётся через API.

Разделение на открытый код и хостинговый сервис определяет большинство решений о покупке. Открытый репозиторий в основном лицензирован по AGPL-3.0, а SDK и часть UI-компонентов используют лицензию MIT. Хостинговая версия работает на Fire-engine — по словам компании, это её собственная проприетарная инфраструктура для прокси, рендеринга и не только. На своём сайте Firecrawl утверждает, что с ним работают более 1,25 млн разработчиков и свыше 150 000 компаний, включая команды Apple, Canva и Lovable (данные зафиксированы 28 сентября 2026 года). Три сооснователя запустили компанию в 2022 году. 22 сентября 2026 года Firecrawl объявил о раунде серии B на 75 млн долларов под руководством Smash Capital.

Ключевые функции

Эндпоинты

• Search: отправьте запрос и получите веб-результаты, уже содержащие Markdown всей страницы, так что вопросу не нужен отдельный шаг «сначала поиск, потом скрапинг».
• Источники поиска: один вызов может смешивать результаты из веба, новостей и изображений, и тогда параметр limit применяется к каждому типу источника, а не к объединённому списку.
• Категории поиска: фильтр categories может ограничить результаты академическими и исследовательскими сайтами, PDF или индексом для разработчиков из issues, смёрженных pull requests и README публичных репозиториев кода. Категорию research планируется перевести на индекс научных статей 16 ноября 2026 года.
• Scrape: передайте Firecrawl URL — и он вернёт Markdown, HTML, скриншоты, метаданные или данные, извлечённые по схеме.
• Crawl: начиная с одного URL, рекурсивно находит и скрапит каждую доступную подстраницу, отыскивая страницы через sitemap и обход ссылок.
• Map: находит URL на сайте, не скрапя их содержимое, что полезно для определения границ обхода.
• Interact: нажимает кнопки, заполняет формы и проходит многошаговые сценарии, чтобы добраться до данных за логином, пагинацией или цепочкой действий, недоступных обычному скрапингу.

Лимит обхода по умолчанию — 10000 страниц, поэтому обход большого сайта останавливается на этом числе, если лимит не изменить.

Форматы вывода и извлечение

Вывод Scrape включает Markdown, сводку, очищенный HTML, исходный HTML, скриншоты, ссылки, JSON, URL изображений, элементы бренда, записи о товарах, аудио или видео с поддерживаемых видео-URL и формат запросов на естественном языке. Если передать в /scrape JSON-схему, данные вернутся ровно в этой форме — например, списки товаров, таблицы цен или контакты — без отдельного парсинга. JavaScript рендерится автоматически, поэтому одностраничные приложения и динамически загружаемые сайты отдают полный контент. Помимо HTML, сервис разбирает файлы PDF и DOCX.

Кеш и актуальность

По умолчанию Firecrawl отдаёт результаты из кеша, если есть копия моложе двух дней (maxAge 172 800 000 мс). Значение maxAge 0 принудительно запускает свежую загрузку, которая, по документации, занимает больше времени и чаще завершается ошибкой.

Производительность по данным вендора

Firecrawl сообщает о покрытии 96 % на собственном эталонном наборе из 1 000 URL, прогнанном 13 января 2026 года, при задержке P95 3 387 мс на том же наборе. Это измерения, проведённые и опубликованные самой компанией, а не независимые тесты.

Руководство

Путь к первой рабочей настройке короткий, и каждый шаг открывает больше возможностей API:

1. Начните без ключа. Использование без ключа бесплатно, но ограничено для каждого IP-адреса в день лимитом запросов и лимитом кредитов; более тяжёлые операции, такие как Interact или извлечение JSON, быстрее упираются в лимит кредитов.
2. Добавьте API-ключ, когда понадобятся crawl, map, batch scrape или extract, поскольку без ключа другие эндпоинты (crawl, extract, map, batch scrape и т. д.) недоступны.
3. Подключите агента для программирования одной командой: npx -y firecrawl-cli@latest init --all --browser. По словам сайта, это даёт веб-инструменты Cursor, Claude Code, Windsurf и другим.
4. Получайте результаты обхода через API: результаты задачи доступны через API в течение 24 часов после завершения, после чего история обходов остаётся видна в журналах активности панели управления.
5. Проверяйте эндпоинт crawl errors на пробелы: там robotsBlocked перечисляет URL, к которым были попытки обращения, но которые заблокировал robots.txt сайта.

Сценарии использования и примеры Firecrawl

Компания называет типичными сценариями агентов глубокого исследования, RAG-конвейеры, обогащение лидов, конкурентную разведку, генерацию контента и мониторинг цен. Опубликованные истории клиентов связывают эти категории с конкретными командами:

• Базы знаний для чатов: Sierra с помощью Firecrawl загружает веб-данные в базы знаний, на которых работают ИИ-чат-приложения.
• Обогащение лидов: Cognism обогащает профили лидов данными со всего веба с помощью Firecrawl.
• Онбординг в продукте: Gamma позволяет пользователям во время онбординга создавать материалы из веб-данных с помощью Firecrawl.
• Исследования агента: Aemon обеспечивает веб-исследования своего ИИ-агента для R&D поиском и скрапингом Firecrawl.

Все четыре примера взяты с сайта самого Firecrawl. Они показывают схему работы каждой команды, а не измеренные результаты.

Для кого предназначен

Собственные рекомендации Firecrawl строят выбор вокруг того, кто управляет инфраструктурой. Совет компании — начинать с Firecrawl Cloud, если только доступ к исходному коду или контроль над инфраструктурой не стоят операционной нагрузки.

• ИИ- и RAG-разработчики, которым нужен управляемый сервис: Cloud держит API-ключи, кредиты, лимиты и операционную поддержку в одном аккаунте и является единственным местом, где предоставляются Agent, Browser, управляемые панели, усиленные прокси-маршруты и корпоративные средства контроля.
• Команды, которым нужен контроль над кодом или инфраструктурой: самостоятельный хостинг позволяет изучить код и выбрать, где работает стек, но аутентификация, TLS, хранение данных, мониторинг, мощности, обновления и восстановление ложатся на вашу команду.
• Регулируемые или чувствительные к безопасности организации: единый вход и SCIM-провижининг доступны только в Enterprise. Ограничения API-ключей, IP-ограничения API-ключей и статические исходящие IP тоже есть только в Enterprise.
• Сторонние проекты: тариф Hobby рассчитан на сторонние проекты и небольшие инструменты и даёт 5 одновременных запросов.

Платформы

Firecrawl доступен через REST API, официальные SDK, CLI и MCP-сервер, а также может размещаться на собственной инфраструктуре.

• SDK: официальные библиотеки охватывают Python (синхронный и асинхронный), Node.js и TypeScript, Go, Java, Ruby, Rust, .NET, PHP и Elixir, плюс инструмент командной строки.
• MCP и инструменты для агентов: официальный MCP-сервер позволяет агентам в Cursor, Claude, Windsurf и других MCP-совместимых инструментах напрямую искать, скрапить и взаимодействовать со страницами, а навыки агентов для Claude Code и Codex берут на себя настройку.
• Варианты входа в MCP: путь MCP без ключа даёт Search, Scrape и Parse в пределах дневных лимитов без аккаунта и ключа, а вход через браузер и API-ключи открывают полный набор инструментов по тарифу вашей команды.
• Самостоятельный хостинг: руководство по Docker Compose ведёт от закреплённого релиза до одного проверенного скрапинга.

У самостоятельно размещённого стандартного стека есть ещё один пробел: скриншоты и действия на странице недоступны, поскольку оба требуют Fire-engine.

Ценообразование

Цены Firecrawl основаны на кредитах, а все счета выставляются в USD независимо от платёжного адреса. Таблица объединяет список тарифов, где показаны оба периода оплаты, со сравнением тарифов.

Годовые тарифы оплачиваются раз в год, но кредиты всё равно обнуляются каждый месяц в виртуальную дату ежемесячного продления. У эндпоинтов /crawl и /agent отдельный, более низкий лимит — от 2 запросов в минуту на Free до 2 000 на Scale. Эндпоинты batch scrape делят лимит crawl. Оплата проходит через Stripe, который принимает большинство основных кредитных и дебетовых карт, а также PayPal.

Что покупает кредит

Scrape, Crawl, Map и Monitor стоят 1 кредит за страницу, Search — 2 кредита за 10 результатов. Search округляет вверх с шагом в 10 результатов, поэтому 11 результатов стоят 4 кредита. Опции Scrape добавляются к базовой ставке: извлечение JSON добавляет 4 кредита за страницу, а страница, отскрапленная одновременно в формате JSON и с Zero Data Retention, стоит 6 кредитов. Agent находится в режиме предпросмотра: 5 бесплатных запусков в день, после этого динамическое ценообразование.

Две ставки различаются на разных страницах. Страница цен указывает Interact по 2 кредита за браузерную минуту. Документация по оплате говорит, что сессии с промптом стоят 7 кредитов за браузерную минуту, а сессии только с кодом — 2. Та же документация указывает Map по 1 кредиту за вызов, а не за страницу.

Пополнения, перенос и возвраты

• Оплата по мере использования: на платных тарифах каждое автоматическое пополнение стоит 5 USD и добавляет 1 000 кредитов на Hobby, 2 000 на Standard, 2 500 на Growth или 5 000 на Scale — вплоть до заданного вами месячного лимита.
• Допустимый перерасход: пока включена оплата по мере использования, запросы ещё недолго выполняются после нуля за счёт запаса в 1 500 кредитов на Hobby, 30 000 на Standard, 150 000 на Growth и 600 000 на Scale, после чего возвращают HTTP 402.
• Купленные кредиты: купленные кредиты сохраняются до использования, но сгорают при отмене подписки.
• Исчерпание: на Free запросы, расходующие кредиты, возвращают HTTP 402 до ежемесячного сброса.
• Неудачные запросы: скрапинг, не вернувший результата, не тарифицируется, но страница, ответившая ошибкой вроде 403 или 404, всё равно стоит 1 кредит.
• Смена тарифа: при повышении сразу списывается полная цена нового тарифа без пропорционального перерасчёта.
• Понижение: оно ждёт следующего продления, а неиспользованное время не зачитывается и не возвращается.
• Возвраты: согласно условиям обслуживания, Firecrawl не делает возвратов ни по какой причине, хотя отменить подписку и остановить будущие списания можно в любой момент.

Правила переноса на официальных страницах противоречат друг другу. Страница цен говорит, что Scale переносит неиспользованные кредиты на один месяц, а Enterprise — индивидуальный объём, без переноса на Hobby, Standard и Growth. Документация по оплате, напротив, говорит, что годовые тарифы Scale переносят неиспользованные кредиты тарифа на 1 месяц, а годовые Enterprise — на 2 месяца.

Альтернативы Firecrawl

В обсуждениях сообщества разработчиков Firecrawl упоминается наряду с Tavily, Exa, Perplexity и Linkup как инструмент для поиска в вебе агентами.

• Crawl4AI: мейнтейнеры говорят, что этот краулер с открытым кодом можно запускать самостоятельно бесплатно навсегда или использовать в хостинговом варианте с одним ключом. Проект распространяется по Apache License 2.0 — это разрешительная альтернатива ядру Firecrawl под AGPL.
• Tavily: компания описывает Tavily как поисковую систему реального времени для ИИ-агентов с API для веб-поиска и извлечения контента. Он подходит для задач, которые начинаются с вопроса, а не с известных URL.
• Apify: компания говорит, что предлагает тысячи инструментов, чтобы получать веб-данные в реальном времени, отслеживать конкурентов, генерировать лиды и интегрировать приложения и ИИ-агентов. Это скорее более широкий каталог автоматизации, чем отдельный API для скрапинга.
• Самостоятельно размещённый Firecrawl: те же базовые API, оплачиваемые через собственную инфраструктуру и затраты на провайдеров вместо кредитов, без функций, доступных только в Cloud.

Firecrawl публикует страницы сравнения со многими из этих инструментов, но их пишет сам Firecrawl, и они выступают в пользу его продукта.

Ограничения

Правила скрапинга и ответственность

• robots.txt: robots.txt соблюдается, если не включён ignoreRobotsTxt, а такое переопределение доступно только в Enterprise.
• Идентификация краулера: эндпоинт crawl также соблюдает правила robots.txt, заданные для директивы 'FirecrawlAgent'.
• Ответственность пользователя: README проекта гласит, что соблюдение политик сайтов при скрапинге — исключительно ответственность конечных пользователей.
• Платные источники: компания заявляет, что уже платит официальным поставщикам данных по индивидуальным соглашениям, прежде всего Wikimedia Enterprise.
• Запрещённые цели: условия исключают жёсткие проверки биографических данных, решения о праве на государственную лицензию и любые цели, запрещённые законами о защите данных, включая GDPR или CCPA.

Операционные ограничения

• Лимиты запросов и очереди: лимиты запросов и лимиты параллельности задаются тарифом, а превышение любого из них возвращает ответ 429.
• Общие счётчики: лимиты запросов действуют на команду, поэтому все API-ключи одной команды расходуют одни и те же счётчики.
• Недолговечные файлы: URL скриншотов истекают через 24 часа.
• Быстрый старт при самостоятельном хостинге: задокументированный быстрый старт для доверенной сети отключает аутентификацию API и не является продакшн-архитектурой.

Конфиденциальность и обработка данных

Zero Data Retention, при котором содержимое страниц и извлечённые данные не хранятся дольше времени выполнения запроса, доступен только на тарифах Enterprise и добавляет 1 кредит за страницу. В режиме ZDR скриншоты недоступны. Вне ZDR значение storeInCache false не даёт Firecrawl кешировать результаты запроса. Для всех тарифов указаны SOC 2 Type II, тестирование на проникновение, многофакторная аутентификация и маскирование PII. Соглашение об обработке данных указано начиная с тарифа Standard. Политика конфиденциальности гласит, что персональные данные хранятся, пока вы письменно не запросите их удаление. В изученных политике конфиденциальности и условиях не найдено заявлений об использовании данных клиентов для обучения моделей.

ЧаВо

Q1. Можно ли пользоваться Firecrawl бесплатно?

Да, в определённых пределах. Тариф Free даёт 1 000 кредитов в месяц без карты, а доступ без ключа работает для search, scrape и interact в рамках дневных лимитов на IP. Платные тарифы начинаются от $19 в месяц или $16 в месяц при годовой оплате.

Q2. Соблюдает ли Firecrawl robots.txt?

По умолчанию — да. Игнорирование robots.txt — опция только для Enterprise, а ответственность за соблюдение политик каждого сайта проект возлагает на пользователя.

Q3. Чего нет в версии с открытым кодом?

Стандартный самостоятельно размещённый стек не включает Agent, Browser, Interact, панель управления, корпоративные средства контроля, скриншоты и действия на странице. Для извлечения на базе LLM нужен собственный OpenAI-совместимый провайдер или Ollama.

Q4. Что будет, когда закончатся кредиты?

Аккаунты Free получают ошибки HTTP 402 до ежемесячного сброса. На платных тарифах с включённой оплатой по мере использования Firecrawl автоматически докупает кредиты до вашего месячного лимита; если она выключена, запросы тоже возвращают 402.