- 形态
- MCP
- 传输协议
- http
- 是否开源
- 是
- GitHub Stars
- ★ 4.5k
- 收录来源
- mcp-github
能力说明
vLLM Semantic Router 是一个系统级的智能路由工具，用于在云、数据中心和边缘环境中优化多模型混合部署。它通过信号驱动的方式帮助团队构建更高效、安全和适应性强的模型系统。该工具可以减少浪费的令牌，提高有效输出，并最大化每个令牌的价值。同时，它还能检测越狱、敏感信息泄露和幻觉，确保代理的可控性、可信度和可审计性。适用于需要在不同环境间协调本地、私有和前沿模型的团队。
能力点
- ▪减少浪费的令牌
- ▪提高有效输出
- ▪最大化令牌价值
- ▪检测越狱和敏感信息泄露
- ▪协调多模型混合部署
适用场景
多模型混合部署优化提高模型系统的安全性跨云、数据中心和边缘环境的模型协调
接入方式
依赖：API KeyNode 环境
curl -fsSL https://vllm-semantic-router.com/install.sh | bash
以上信息由 AI 基于公开资料整理，可能存在偏差，以来源为准。
常见问题
如何开始使用 vLLM Semantic Router？
运行安装脚本：curl -fsSL https://vllm-semantic-router.com/install.sh | bash
vLLM Semantic Router 的主要功能是什么？
优化多模型混合部署，提高效率、安全性和适应性。
相关 Skill
gemini-cli
Gemini CLI 是一个开源的 AI 代理，将 Gemini 的强大功能直接带入终端。
MCP
ruflo
Ruflo 是一个为 Claude Code 和 Codex 设计的智能代理元框架。
MCP
context7
为 LLM 和 AI 代码编辑器提供最新的代码文档。
MCP
mcp-adapter
将WordPress插件、主题和核心功能转换为MCP工具，供AI代理调用。
MCP
MemOS
为LLM和AI代理提供持久化记忆、混合检索和跨任务技能复用的自进化内存操作系统。
MCPmemoryLLM
claude-context
为 Claude Code 提供代码搜索能力，使整个代码库成为上下文。
MCP