crw

crw

轻量级的网页抓取、爬虫和搜索API,支持MCP服务器。

MCP搜索与研究开源
形态
MCP
传输协议
http
是否开源
是
GitHub Stars
★ 1.0k
收录来源
mcp-github

能力说明

crw是一个用Rust编写的快速、轻量级的Firecrawl/Tavily替代品。它提供了一个MCP服务器,使AI代理能够进行网页抓取、爬虫和搜索。该工具兼容Firecrawl API(/scrape, /crawl, /search),在1K-URL基准测试中比Tavily快2.3倍,比Firecrawl快1.5倍。内存占用仅6MB,可以自托管或使用托管云服务。适用于需要高效处理网页数据的AI应用。

能力点

  • ▪网页抓取
  • ▪网站爬虫
  • ▪网络搜索
  • ▪结构化JSON输出
  • ▪Markdown格式输出

适用场景

自动化内容抓取大规模网站爬虫实时网络搜索数据提取与分析

接入方式

依赖:API Key
curl -fsSL https://fastcrw.com/install | sh

以上信息由 AI 基于公开资料整理,可能存在偏差,以来源为准。

常见问题

如何安装crw?

运行命令:curl -fsSL https://fastcrw.com/install | sh

是否需要API密钥?

是,需要API密钥来使用托管云服务。

相关 Skill