Firecrawl Download

Экспериментальная команда. Загрузка целого сайта как локальных файлов — markdown, скриншоты или несколько форматов на страницу. Используйте, когда нужно сохранить сайт локально, скачать документацию для офлайн-использования, или сказано «скачай сайт», «сохрани как локальные файлы», «офлайн-копия».

Сначала картографирует сайт для обнаружения страниц, затем скрапит каждую в вложенные директории под .firecrawl/. Всегда передавайте -y для пропуска запроса подтверждения.

Быстрый старт

# Интерактивный мастер
firecrawl download https://docs.example.com

# Со скриншотами
firecrawl download https://docs.example.com --screenshot --limit 20 -y

# Несколько форматов (каждый сохраняется отдельным файлом на страницу)
firecrawl download https://docs.example.com --format markdown,links --screenshot --limit 20 -y
# Создаёт для каждой страницы: index.md + links.txt + screenshot.png

# Фильтрация по разделам
firecrawl download https://docs.example.com --include-paths "/features,/sdks"

# Пропустить переводы
firecrawl download https://docs.example.com --exclude-paths "/zh,/ja,/fr,/es,/pt-BR"

# Полная комбинация
firecrawl download https://docs.example.com \
  --include-paths "/features,/sdks" \
  --exclude-paths "/zh,/ja" \
  --only-main-content \
  --screenshot \
  -y

Параметры загрузки

Все параметры scrape также работают с download: -f <formats>, --screenshot, --full-page-screenshot, --only-main-content, --include-tags, --exclude-tags, --wait-for, --country, --languages.