Firecrawl Scrape

Извлечение чистого markdown из любого URL, включая JavaScript-рендеренные SPA. Используйте этот скилл, когда пользователь указывает URL и хочет получить его содержимое, говорит «скрапь», «скачай», «извлеки», «получи страницу». Обрабатывает JS-рендеренные страницы и несколько параллельных URL. Используйте вместо WebFetch для любого извлечения контента веб-страниц.

Когда использовать

• Есть конкретный URL и нужно его содержимое
• Страница статическая или JS-рендеренная (SPA)
• Шаг 2 в паттерне эскалации воркфлоу: search → scrape → map → crawl → interact

Быстрый старт

# Базовое извлечение markdown
firecrawl scrape "<url>" -o .firecrawl/page.md

# Только основной контент, без nav/footer
firecrawl scrape "<url>" --only-main-content -o .firecrawl/page.md

# Подождать JS-рендеринга, затем скрапить
firecrawl scrape "<url>" --wait-for 3000 -o .firecrawl/page.md

# Несколько URL (каждый сохраняется в .firecrawl/)
firecrawl scrape https://example.com https://example.com/blog https://example.com/docs

# Получить markdown и ссылки вместе
firecrawl scrape "<url>" --format markdown,links -o .firecrawl/page.json

# Задать вопрос о странице
firecrawl scrape "https://example.com/pricing" --query "What is the enterprise plan price?"

Параметры

Советы

• Предпочитайте обычный scrape вместо --query. Сохраните в файл, затем используйте grep, head или читайте markdown напрямую. Используйте --query только для одного конкретного ответа без сохранения страницы (стоит 5 дополнительных кредитов).
• Сначала пробуйте scrape, затем interact. Scrape справляется со статическими и JS-рендеренными SPA. Переходите к interact только когда нужны клики, заполнение форм, пагинация.
• Несколько URL скрапятся параллельно — проверьте firecrawl --status для вашего лимита параллельности.
• Один формат — вывод сырого контента. Несколько форматов (--format markdown,links) — вывод JSON.
• Всегда обрамляйте URL кавычками — shell интерпретирует ? и & как спецсимволы.
• Соглашение по именованию: .firecrawl/{site}-{path}.md