Rapid-MLX

Rapid-MLX

Rapid-MLX 是一个为 Apple Silicon 设计的开源 LLM 推理服务器,支持 OpenAI 和 Anthropic API。

MCP编程与开发开源
形态
MCP
传输协议
http
是否开源
是
GitHub Stars
★ 3.9k
收录来源
mcp-github

能力说明

Rapid-MLX 是一个基于 MLX 构建的开源 (Apache 2.0) LLM 推理服务器,专为 Apple Silicon 设计。它支持 OpenAI 和 Anthropic 兼容的 API,并专注于为编码代理提供可靠的工具调用。相比 Apple 的 MLX (mlx-lm),Rapid-MLX 在相同权重下速度可提高 4 倍。适用于需要高效推理和工具调用的开发者和研究人员。

能力点

  • ▪OpenAI 和 Anthropic 兼容 API
  • ▪支持 Apple Silicon
  • ▪高效的工具调用解析
  • ▪连续批处理并发请求
  • ▪内存中的 Radix 前缀缓存

适用场景

代码生成和调试自动化脚本编写快速原型开发自然语言处理任务

接入方式

依赖:Python 3.10+Apple Silicon (M1, M2, M3, M4)
pip install rapid-mlx 或通过 Homebrew 安装:brew install rapid-mlx

以上信息由 AI 基于公开资料整理,可能存在偏差,以来源为准。

常见问题

Rapid-MLX 支持哪些硬件?

支持 Apple Silicon (M1, M2, M3, M4)

Rapid-MLX 是否开源?

是的,Rapid-MLX 是 Apache 2.0 许可证下的开源项目

相关 Skill