- 形态
- MCP
- 传输协议
- http
- 是否开源
- 是
- GitHub Stars
- ★ 1.0k
- 收录来源
- mcp-github
能力说明
crw是一个用Rust编写的快速、轻量级的Firecrawl/Tavily替代品。它提供了一个MCP服务器,使AI代理能够进行网页抓取、爬虫和搜索。该工具兼容Firecrawl API(/scrape, /crawl, /search),在1K-URL基准测试中比Tavily快2.3倍,比Firecrawl快1.5倍。内存占用仅6MB,可以自托管或使用托管云服务。适用于需要高效处理网页数据的AI应用。
能力点
- ▪网页抓取
- ▪网站爬虫
- ▪网络搜索
- ▪结构化JSON输出
- ▪Markdown格式输出
适用场景
自动化内容抓取大规模网站爬虫实时网络搜索数据提取与分析
接入方式
依赖:API Key
curl -fsSL https://fastcrw.com/install | sh
以上信息由 AI 基于公开资料整理,可能存在偏差,以来源为准。
常见问题
如何安装crw?
运行命令:curl -fsSL https://fastcrw.com/install | sh
是否需要API密钥?
是,需要API密钥来使用托管云服务。
相关 Skill
Scrapling
自适应的网页抓取框架,从单个请求到大规模爬取都能处理。
MCP
TrendRadar
AI 驱动的舆情监控和趋势分析工具,支持多平台聚合、RSS 订阅和智能推送。
MCP
gpt-researcher
一个使用任何LLM提供商进行深度研究的自主代理。
MCP
geo-optimizer-skill
AI搜索引擎优化工具,帮助网站在ChatGPT等生成引擎中被引用。
Agent Skill
SurfSense
SurfSense 是一个开源的 AI 代理网络研究平台,通过 REST API 或 MCP 服务器提供实时数据连接。
MCP
google-maps-scraper
从 Google 地图抓取商家数据,如名称、地址、电话等。
Agent Skill