firecrawl-mapкарта всех URL сайта
firecrawl/cli
Находит и перечисляет все URL сайта через Firecrawl с опциональным поиском для поиска конкретных страниц на больших ресурсах.
Установка
npx -y skills add firecrawl/cli --skill firecrawl-map --agent claude-codeFirecrawl Map
Обнаружение и список всех URL на сайте с опциональной фильтрацией по поиску. Используйте, когда нужно найти конкретную страницу на большом сайте, увидеть структуру сайта, или сказано «сделай карту сайта», «найди URL для», «какие страницы есть на».
Когда использовать
- Нужно найти конкретную подстраницу на большом сайте
- Нужен список всех URL на сайте перед скрапингом или crawl
- Шаг 3 в паттерне эскалации: search → scrape → map → crawl → interact
Быстрый старт
# Найти конкретную страницу на большом сайте
firecrawl map "<url>" --search "authentication" -o .firecrawl/filtered.txt
# Получить все URL
firecrawl map "<url>" --limit 500 --json -o .firecrawl/urls.json
Параметры
| Параметр | Описание |
|---|---|
--limit <n> | Максимальное число URL для возврата |
--search <query> | Фильтровать URL по поисковому запросу |
--sitemap <include|skip|only> | Стратегия работы с sitemap |
--include-subdomains | Включить URL поддоменов |
--json | Вывод в формате JSON |
-o, --output <path> | Путь к файлу вывода |
Советы
- Map + scrape — частый паттерн: используйте
map --search, чтобы найти нужный URL, затемscrapeего. - Пример:
map https://docs.example.com --search "auth"→ нашёл/docs/api/authentication→ скрапим этот URL.
Из того же репозитория
firecrawl — автономный веб-скрапинг
firecrawl/cli
Автономный скрапинг для сложных задач: описываете что нужно — не пишете ломкие скраперы. Работает с JS-рендеренными сайтами там, где другие дают сбой.
firecrawl-scrape — чистый markdown из любого URL
firecrawl/cli
Извлекает чистый LLM-оптимизированный markdown с любого URL через Firecrawl: статические страницы и JS-рендеренные SPA.
firecrawl-search — веб-поиск с извлечением контента
firecrawl/cli
Веб-поиск с опциональным извлечением полного содержания страниц: структурированный JSON вместо простых сниппетов.
firecrawl-agent — AI-агент для сложных сайтов
firecrawl/cli
Firecrawl агент автономно навигирует по сложным многостраничным сайтам и извлекает структурированные данные JSON по заданной схеме.
firecrawl-crawl — массовое извлечение сайтов
firecrawl/cli
Массовое извлечение структурированного контента с целых сайтов или разделов через Firecrawl: URLs, markdown, метаданные в одном запросе.
firecrawl-download — скачивание сайта в локальные файлы
firecrawl/cli
Маппирует и скрапит целые сайты в организованные локальные директории: markdown, ссылки и скриншоты в нескольких форматах.
