AI-Gateway

AI-Gateway

基于 Azure API Management 的企业级 AI 模型、工具和代理管理网关。

MCP编程与开发开源
形态
MCP
传输协议
http
是否开源
是
GitHub Stars
★ 1.0k
收录来源
mcp-github

能力说明

AI Gateway 是一个由 Azure API Management 支持的企业级网关,用于管理和控制 AI 模型、工具和代理。它提供了安全性、性能、可观测性和成本控制等功能,支持 MCP 协议,适用于需要构建生产就绪的 AI 应用程序的开发者。通过该网关,可以实现模型负载均衡、语义缓存、请求路由等高级功能。适合需要在企业环境中部署和管理 AI 模型及工具的开发者。

能力点

  • ▪OAuth 2.0 安全认证
  • ▪负载均衡和语义缓存
  • ▪令牌指标和内置日志
  • ▪速率限制和配额管理
  • ▪MCP 协议支持
  • ▪多模型路由

适用场景

管理大型语言模型的访问实现模型负载均衡控制令牌消耗集成实时语音 API

接入方式

依赖:Python 3.12+uv 包管理器VS Code 和 Jupyter 扩展Azure 订阅
git clone https://github.com/Azure-Samples/AI-Gateway.git; cd AI-Gateway; uv sync; uv pip install -r pyproject.toml; code .

以上信息由 AI 基于公开资料整理,可能存在偏差,以来源为准。

常见问题

如何开始使用 AI Gateway?

克隆仓库,安装依赖,打开 VS Code 并选择一个实验室。

AI Gateway 支持哪些协议?

支持 MCP 协议和 HTTP 协议。

相关 Skill