Главная · Тег
Краулинг
Краулинг в экосистеме Claude Code: 31 инструмент — 7 скиллов, 24 MCP-сервера. Популярные: массовое извлечение сайтов, Tavily Crawl, краулинг веб Tavily AI. У каждого — описание на русском, команда установки и ссылка на исходники.
firecrawl-crawl — массовое извлечение сайтов
firecrawl/cli
Массовое извлечение структурированного контента с целых сайтов или разделов через Firecrawl: URLs, markdown, метаданные в одном запросе.
tavily-crawl — Tavily Crawl
tavily-ai/skills
Краулинг через Tavily.
crawl — краулинг веб Tavily AI
tavily-ai/skills
Веб краулинг через Tavily AI.
crawl4ai — Crawl4AI краулинг AI данные
brettdavies/crawl4ai-skill
Crawl4AI для AI краулинга.
crawl4ai-skill — Crawl4AI скилл краулинг
lancelin111/crawl4ai-skill
Скилл Crawl4AI для краулинга.
xcrawl — XCrawl: XCrawl
xcrawl-api/xcrawl-skills
XCrawl: XCrawl.
xcrawl-crawl — XCrawl: краулинг
xcrawl-api/xcrawl-skills
XCrawl: краулинг.
Crawlora MCP — Crawlora
crawlora-org/crawlora-mcp
MCP-сервер Crawlora (скрейпинг).
Smart Crawler — Smart Crawler
shulex-voc/smart-crawler
MCP-сервер Smart Crawler (умный краулинг).
Evocrawl MCP Server — EvoCrawl
superaihuman/evocrawl-mcp
MCP-сервер EvoCrawl (скрейпинг).
Firecrawl — Firecrawl
io.github.pipeworx-io/firecrawl
MCP-сервер Firecrawl (скрейпинг для AI).
Firecrawl — Firecrawl
com.mcparmory/firecrawl
MCP-сервер Firecrawl (скрейпинг для AI).
Firecrawl MCP Server — Firecrawl
firecrawl/firecrawl-mcp-server
MCP-сервер Firecrawl (скрейпинг для AI).
Olostep MCP Server — Olostep
io.github.olostep/olostep-mcp-server
MCP-сервер Olostep (скрейпинг).
PageCrawl — PageCrawl
io.github.pagecrawl/pagecrawl-mcp
MCP-сервер PageCrawl (краулинг страниц).
Pubcrawl — PubCrawl
nickjlamb/pubcrawl
MCP-сервер PubCrawl (краулинг/публикации).
Robotstxt Ai — robots.txt (AI)
sharozdawa/robotstxt-ai
MCP-сервер работы с robots.txt.
ScrapeBadger — ScrapeBadger
io.github.scrape-badger/scrapebadger
MCP-сервер ScrapeBadger (скрейпинг).
Crawleo Mcp — Crawleo
crawleo/crawleo-mcp
MCP-сервер Crawleo (скрейпинг).
Scraper — Scraper
io.github.ofershap/scraper
MCP-сервер Scraper (скрейпинг).
Scrapercity Cli — ScraperCity
scrapercity/scrapercity-cli
MCP-сервер ScraperCity (скрейпинг).
Screaming Frog SEO Spider MCP Server — Screaming Frog
bzsasson/screaming-frog-mcp
MCP-сервер Screaming Frog (SEO-краулер).
ShadowCrawl — ShadowCrawl
io.github.devshero/shadow-crawl
MCP-сервер ShadowCrawl (скрейпинг).
ShadowCrawl — ShadowCrawl
devshero/shadowcrawl
MCP-сервер ShadowCrawl (скрейпинг).