- 形态
- Agent Skill
- 是否开源
- 是
- GitHub Stars
- ★ 1.2k
- 收录来源
- skill-github
能力说明
evals-skills是一组技能，旨在帮助AI编码代理构建针对特定产品的AI评估。这些技能可以帮助避免常见的评估错误，并提供从数据审查到生成合成数据等多方面的支持。通过npx命令安装后，用户可以指定一个或多个技能来辅助完成评估工作。适合需要对AI模型进行详细测试和优化的开发者使用。
能力点
- ▪路由至合适的评估技能
- ▪审计评估管道并发现潜在问题
- ▪智能选择样本进行错误分析
- ▪生成多样化的合成测试输入
- ▪设计基于LLM的主观质量评判器
- ▪校准LLM评判器与人工标签
适用场景
AI模型性能评估错误模式识别合成数据生成评估检索增强生成(RAG)质量
接入方式
依赖：API KeyNode环境
使用npx命令安装：`npx skills add https://github.com/ai-evals-course/evals-skills` 或者单独安装某个技能：`npx skills add https://github.com/ai-evals-course/evals-skills --skill error-discovery`
以上信息由 AI 基于公开资料整理，可能存在偏差，以来源为准。
常见问题
如何开始使用这些技能？
首先运行`npx skills add https://github.com/ai-evals-course/evals-skills`安装所有技能，或者指定安装单个技能。
哪个技能最重要？
`error-discovery`技能最为关键，用于发现数据中的错误模式。
相关 Skill
answer-me-with-html
让 AI Agent 用一页 HTML 回答复杂问题。
Agent Skill
sast-skills
将你的AI编码助手转变为SAST扫描器，自动检测代码中的漏洞。
Agent Skill
Lightswind-UI-Library
AI 原生的 CLI 首发 React 组件库，支持 MCP Server。
MCP
scientific-agent-skills
将任何AI代理转变为科学助手，提供147种即用型科研技能。
Agent Skill
susi_alexa_skill
通过 Alexa 与 Susi AI 进行问答交互的技能。
Agent Skill
claude-context
为 Claude Code 提供代码搜索能力，使整个代码库成为上下文。
MCP