m
mlx-serve
mlx-serve 是一个适用于 Apple Silicon 的本地 LLM 推理服务器，支持 OpenAI 和 Anthropic API。
🌍 海外免费开源编程与开发开源API桌面端
支持平台：桌面端API
- 地区
- 海外
- 定价
- 免费
- 是否开源
- 是
- GitHub Stars
- ★ 1.7k
- 浏览量
- 2
- 收录来源
- GitHub
- 收录于
- 2026-09-30
- 最近确认可用
- 2026-09-30
详细介绍
mlx-serve 是一个基于 Zig 和 Swift 的 macOS 应用程序，可以在 Apple Silicon 设备上运行任何 LLM 模型。它提供了 OpenAI 和 Anthropic 兼容的 HTTP API，支持文本、图像、视频、音乐和语音生成。用户可以通过菜单栏应用或命令行界面进行操作，无需配置即可使用。该工具适用于开发者和研究人员，提供了一个快速且高效的本地推理解决方案。
核心功能
- ▪支持 MLX 和 GGUF 格式的模型
- ▪OpenAI 和 Anthropic API 兼容
- ▪支持多种内容生成（文本、图像、视频、音乐）
- ▪内置 MCP 工具调用
适用场景
本地 LLM 推理多模态内容生成开发和测试 AI 模型替代云服务进行本地计算
优点
- ＋高性能本地推理
- ＋多 API 兼容性
- ＋丰富的功能支持
- ＋易于安装和使用
局限 / 注意
- －仅支持 macOS
- －需要一定的技术背景
适合谁
开发者研究人员AI 爱好者
以上介绍由 AI 基于公开资料整理，可能存在偏差，以官网为准。
常见问题
是否免费？
是的，mlx-serve 是免费且开源的。
支持中文吗？
README 提供了简体中文版本，但具体支持情况需进一步确认。
能否商用？
mlx-serve 使用 MIT 许可证，可以用于商业用途。
相似智能体
信息有误？欢迎在 关于页 联系我们更正。