claude-video-vision

claude-video-vision

赋予 Claude 观看和理解视频的能力,支持帧提取和多模态音频分析。

MCP编程与开发开源
形态
MCP
传输协议
stdio
是否开源
GitHub Stars
★ 1.0k
收录来源
mcp-github

能力说明

Claude Video Vision 是一个 Claude Code 插件,通过 ffmpeg 提取视频帧并通过多种后端(Gemini API、本地 Whisper 或 OpenAI API)处理音频。Claude 可以直接看到视频帧并读取带有时间戳的音频转录。该插件是一个感知层,而不是解释层。用户可以通过配置向导进行设置,并使用 `/watch-video` 命令来分析视频。适合需要 AI 理解视频内容的开发者。

能力点

  • 多模态感知:观看视频帧并读取音频转录
  • 支持 YouTube URL 直接输入
  • 灵活选择云 API 或本地处理
  • 自适应提取参数调整
  • 自动安装 Whisper 模型
  • 交互式配置向导

适用场景

分析教程视频中的语言总结长视频内容检测视频中的特定文本从 YouTube 视频中提取信息

接入方式

依赖:Node.js 20+ffmpegyt-dlp (可选)API Key (根据后端)
在 Claude Code 中运行以下命令:"/plugin marketplace add https://github.com/jordanrendric/claude-video-vision" 和 "/plugin install claude-video-vision"

以上信息由 AI 基于公开资料整理,可能存在偏差,以来源为准。

常见问题

如何配置后端?

运行 "/setup-video-vision" 向导进行配置。

支持哪些后端?

支持 Gemini API、本地 Whisper 和 OpenAI API。

是否需要 API Key?

根据所选后端,可能需要 API Key。

相关 Skill