Open-source AI gateway for managing multiple LLM providers with built-in features.
什么是Open Source AI Gateway?
一个开源的AI网关,用于管理多个大型语言模型(LLM)提供商,如OpenAI、Anthropic、Gemini、Ollama、Mistral和Cohere。它提供内置分析、保护措施、速率限制、缓存和管理控制。支持HTTP和gRPC接口。
如何使用 Open Source AI Gateway?
1. 配置Config.toml文件,填写您的API密钥和模型设置。
2. 运行Docker容器,挂载Config.toml文件。
3. 使用curl命令向网关发起API请求,指定LLM提供商。
Open Source AI Gateway 的核心功能
多提供商支持
HTTP和gRPC接口
智能故障转移
智能缓存
速率限制
管理员仪表板
内容保护措施
企业日志记录
系统提示注入
Open Source AI Gateway