crawl4ai

开源网页爬虫和抓取工具，将任何网站转换为干净的、适合LLM的Markdown。

MCP搜索与研究开源

查看来源 →

形态: MCP
传输协议: http
是否开源: 是
GitHub Stars: ★ 8.4w
收录来源: mcp-github
仓库: github.com/unclecode/crawl4ai

能力说明

Crawl4AI 是一个开源的网页爬虫和抓取工具，可以将任何网站转换为干净的、适合大型语言模型（LLM）的Markdown格式。你可以自行运行该工具，也可以使用 Crawl4AI Cloud 服务，只需一个密钥即可。Crawl4AI 提供了多种方式来接入和使用，包括 Python 库、Docker 容器以及云服务。它适用于需要从网页中提取结构化数据并将其用于 RAG、AI 代理和数据管道的场景。

能力点

▪将网页转换为干净的Markdown
▪支持异步浏览器池和缓存
▪提供完整的控制选项，如会话、代理、Cookies等
▪自适应智能，学习网站模式
▪生成适合LLM阅读的Markdown

适用场景

从网页中提取结构化数据为RAG和AI代理提供数据构建数据管道自动化网页内容处理

接入方式

依赖：API KeyPython环境

pip install -U crawl4ai"crawl4ai-setup"

以上信息由 AI 基于公开资料整理，可能存在偏差，以来源为准。

常见问题

如何开始使用Crawl4AI？

可以通过pip安装并运行，或使用Crawl4AI Cloud服务。

Crawl4AI是否免费？

开源版本永久免费，云服务按需付费。

相关 Skill

Scrapling

自适应的网页抓取框架，从单个请求到大规模爬取都能处理。

TrendRadar

AI 驱动的舆情监控和趋势分析工具，支持多平台聚合、RSS 订阅和智能推送。

gpt-researcher

一个使用任何LLM提供商进行深度研究的自主代理。

geo-optimizer-skill

AI搜索引擎优化工具，帮助网站在ChatGPT等生成引擎中被引用。

SurfSense

SurfSense 是一个开源的 AI 代理网络研究平台，通过 REST API 或 MCP 服务器提供实时数据连接。

google-maps-scraper

从 Google 地图抓取商家数据，如名称、地址、电话等。