webclaw

快速本地化的网页内容提取工具，支持CLI、REST API和MCP服务器。

MCP搜索与研究开源

查看来源 →

形态: MCP
传输协议: stdio
是否开源: 是
GitHub Stars: ★ 1.5k
收录来源: mcp-github
仓库: github.com/0xMassi/webclaw

能力说明

webclaw 是一个快速且本地优先的网页内容提取工具，专为LLM设计。它可以抓取、爬取并提取结构化数据，支持Rust编写。提供CLI、REST API和MCP服务器等多种接入方式。通过webclaw，AI可以将网页转换为干净的Markdown、JSON或LLM可用的上下文。适用于需要从网页中提取有用信息的场景，如文档爬取、竞争对手分析等。

能力点

▪抓取单个网页
▪爬取整个网站
▪提取结构化数据
▪生成LLM优化文本
▪仅保留主要内容
▪包含或排除特定选择器

适用场景

文档爬取和整理竞争对手定价页面对比品牌资产提取网页内容变化监控

接入方式

依赖：Node 环境

npx create-webclaw

以上信息由 AI 基于公开资料整理，可能存在偏差，以来源为准。

常见问题

如何安装webclaw？

使用 `npx create-webclaw` 快速安装。

webclaw支持哪些格式输出？

支持Markdown、JSON、LLM优化文本等。

相关 Skill

Scrapling

自适应的网页抓取框架，从单个请求到大规模爬取都能处理。

TrendRadar

AI 驱动的舆情监控和趋势分析工具，支持多平台聚合、RSS 订阅和智能推送。

gpt-researcher

一个使用任何LLM提供商进行深度研究的自主代理。

firecrawl-mcp-server

强大的网页抓取和搜索能力，适用于Cursor、Claude等LLM客户端。

deep-research

使用多种大语言模型生成深度研究报告。

fetcher-mcp

使用 Playwright 无头浏览器抓取网页内容的 MCP 服务器。