Главная · Скиллы · firecrawl-download

firecrawl-downloadскачивание сайта в локальные файлы

firecrawl/cli

Маппирует и скрапит целые сайты в организованные локальные директории: markdown, ссылки и скриншоты в нескольких форматах.

Установка

npx -y skills add firecrawl/cli --skill firecrawl-download --agent claude-code

Firecrawl Download

Экспериментальная команда. Загрузка целого сайта как локальных файлов — markdown, скриншоты или несколько форматов на страницу. Используйте, когда нужно сохранить сайт локально, скачать документацию для офлайн-использования, или сказано «скачай сайт», «сохрани как локальные файлы», «офлайн-копия».

Сначала картографирует сайт для обнаружения страниц, затем скрапит каждую в вложенные директории под .firecrawl/. Всегда передавайте -y для пропуска запроса подтверждения.

Быстрый старт

# Интерактивный мастер
firecrawl download https://docs.example.com

# Со скриншотами
firecrawl download https://docs.example.com --screenshot --limit 20 -y

# Несколько форматов (каждый сохраняется отдельным файлом на страницу)
firecrawl download https://docs.example.com --format markdown,links --screenshot --limit 20 -y
# Создаёт для каждой страницы: index.md + links.txt + screenshot.png

# Фильтрация по разделам
firecrawl download https://docs.example.com --include-paths "/features,/sdks"

# Пропустить переводы
firecrawl download https://docs.example.com --exclude-paths "/zh,/ja,/fr,/es,/pt-BR"

# Полная комбинация
firecrawl download https://docs.example.com \
  --include-paths "/features,/sdks" \
  --exclude-paths "/zh,/ja" \
  --only-main-content \
  --screenshot \
  -y

Параметры загрузки

ПараметрОписание
--limit <n>Максимальное число страниц для скачивания
--search <query>Фильтровать URL по поисковому запросу
--include-paths <paths>Скачивать только соответствующие пути
--exclude-paths <paths>Пропускать соответствующие пути
--allow-subdomainsВключить страницы поддоменов
-yПропустить запрос подтверждения (всегда использовать в автоматизированных флоу)

Все параметры scrape также работают с download: -f <formats>, --screenshot, --full-page-screenshot, --only-main-content, --include-tags, --exclude-tags, --wait-for, --country, --languages.

Из того же репозитория

firecrawlавтономный веб-скрапинг
firecrawl/cli
Автономный скрапинг для сложных задач: описываете что нужно — не пишете ломкие скраперы. Работает с JS-рендеренными сайтами там, где другие дают сбой.
42866k установок
firecrawl-scrapeчистый markdown из любого URL
firecrawl/cli
Извлекает чистый LLM-оптимизированный markdown с любого URL через Firecrawl: статические страницы и JS-рендеренные SPA.
42851k установок
firecrawl-searchвеб-поиск с извлечением контента
firecrawl/cli
Веб-поиск с опциональным извлечением полного содержания страниц: структурированный JSON вместо простых сниппетов.
42850.9k установок
firecrawl-agentAI-агент для сложных сайтов
firecrawl/cli
Firecrawl агент автономно навигирует по сложным многостраничным сайтам и извлекает структурированные данные JSON по заданной схеме.
42850k установок
firecrawl-crawlмассовое извлечение сайтов
firecrawl/cli
Массовое извлечение структурированного контента с целых сайтов или разделов через Firecrawl: URLs, markdown, метаданные в одном запросе.
42849.9k установок
firecrawl-mapкарта всех URL сайта
firecrawl/cli
Находит и перечисляет все URL сайта через Firecrawl с опциональным поиском для поиска конкретных страниц на больших ресурсах.
42849.7k установок