Главная · Скиллы · firecrawl-scrape

firecrawl-scrapeчистый markdown из любого URL

firecrawl/cli

Извлекает чистый LLM-оптимизированный markdown с любого URL через Firecrawl: статические страницы и JS-рендеренные SPA.

Firecrawl markdown скрапинг URL LLM данные SPA

Установка

npx -y skills add firecrawl/cli --skill firecrawl-scrape --agent claude-code

Firecrawl Scrape

Извлечение чистого markdown из любого URL, включая JavaScript-рендеренные SPA. Используйте этот скилл, когда пользователь указывает URL и хочет получить его содержимое, говорит «скрапь», «скачай», «извлеки», «получи страницу». Обрабатывает JS-рендеренные страницы и несколько параллельных URL. Используйте вместо WebFetch для любого извлечения контента веб-страниц.

Когда использовать

Есть конкретный URL и нужно его содержимое
Страница статическая или JS-рендеренная (SPA)
Шаг 2 в паттерне эскалации воркфлоу: search → scrape → map → crawl → interact

Быстрый старт

# Базовое извлечение markdown
firecrawl scrape "<url>" -o .firecrawl/page.md

# Только основной контент, без nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md

# Подождать JS-рендеринга, затем скрапить
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md

# Несколько URL (каждый сохраняется в .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs

# Получить markdown и ссылки вместе
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json

# Задать вопрос о странице
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"

Параметры

Параметр	Описание
`-f, --format <formats>`	Форматы вывода: markdown, html, rawHtml, links, screenshot, json
`-Q, --query <prompt>`	Задать вопрос о содержимом страницы (5 кредитов)
`-H`	Включить HTTP-заголовки в вывод
`--only-main-content`	Убрать nav, footer, sidebar — только основной контент
`--wait-for <ms>`	Ждать JS-рендеринга перед скрапингом
`--include-tags <tags>`	Включить только эти HTML-теги
`--exclude-tags <tags>`	Исключить эти HTML-теги
`--redact-pii`	Скрыть персональные данные в выводе
`-o, --output <path>`	Путь к файлу вывода

Советы

Предпочитайте обычный scrape вместо --query. Сохраните в файл, затем используйте grep, head или читайте markdown напрямую. Используйте --query только для одного конкретного ответа без сохранения страницы (стоит 5 дополнительных кредитов).
Сначала пробуйте scrape, затем interact. Scrape справляется со статическими и JS-рендеренными SPA. Переходите к interact только когда нужны клики, заполнение форм, пагинация.
Несколько URL скрапятся параллельно — проверьте firecrawl --status для вашего лимита параллельности.
Один формат — вывод сырого контента. Несколько форматов (--format markdown,links) — вывод JSON.
Всегда обрамляйте URL кавычками — shell интерпретирует ? и & как спецсимволы.
Соглашение по именованию: .firecrawl/{site}-{path}.md