Главная · Скиллы · firecrawl-map

firecrawl-mapкарта всех URL сайта

firecrawl/cli

Находит и перечисляет все URL сайта через Firecrawl с опциональным поиском для поиска конкретных страниц на больших ресурсах.

Установка

npx -y skills add firecrawl/cli --skill firecrawl-map --agent claude-code

Firecrawl Map

Обнаружение и список всех URL на сайте с опциональной фильтрацией по поиску. Используйте, когда нужно найти конкретную страницу на большом сайте, увидеть структуру сайта, или сказано «сделай карту сайта», «найди URL для», «какие страницы есть на».

Когда использовать

  • Нужно найти конкретную подстраницу на большом сайте
  • Нужен список всех URL на сайте перед скрапингом или crawl
  • Шаг 3 в паттерне эскалации: search → scrape → map → crawl → interact

Быстрый старт

# Найти конкретную страницу на большом сайте
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt

# Получить все URL
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json

Параметры

ПараметрОписание
--limit <n>Максимальное число URL для возврата
--search <query>Фильтровать URL по поисковому запросу
--sitemap <include|skip|only>Стратегия работы с sitemap
--include-subdomainsВключить URL поддоменов
--jsonВывод в формате JSON
-o, --output <path>Путь к файлу вывода

Советы

  • Map + scrape — частый паттерн: используйте map --search, чтобы найти нужный URL, затем scrape его.
  • Пример: map https://docs.example.com --search "auth" → нашёл /docs/api/authentication → скрапим этот URL.

Из того же репозитория

firecrawlавтономный веб-скрапинг
firecrawl/cli
Автономный скрапинг для сложных задач: описываете что нужно — не пишете ломкие скраперы. Работает с JS-рендеренными сайтами там, где другие дают сбой.
42866k установок
firecrawl-scrapeчистый markdown из любого URL
firecrawl/cli
Извлекает чистый LLM-оптимизированный markdown с любого URL через Firecrawl: статические страницы и JS-рендеренные SPA.
42851k установок
firecrawl-searchвеб-поиск с извлечением контента
firecrawl/cli
Веб-поиск с опциональным извлечением полного содержания страниц: структурированный JSON вместо простых сниппетов.
42850.9k установок
firecrawl-agentAI-агент для сложных сайтов
firecrawl/cli
Firecrawl агент автономно навигирует по сложным многостраничным сайтам и извлекает структурированные данные JSON по заданной схеме.
42850k установок
firecrawl-crawlмассовое извлечение сайтов
firecrawl/cli
Массовое извлечение структурированного контента с целых сайтов или разделов через Firecrawl: URLs, markdown, метаданные в одном запросе.
42849.9k установок
firecrawl-downloadскачивание сайта в локальные файлы
firecrawl/cli
Маппирует и скрапит целые сайты в организованные локальные директории: markdown, ссылки и скриншоты в нескольких форматах.
42849.6k установок