Open Source AI Gateway

2个月前发布 294 0 0

开源AI网关,用于管理多个LLM提供商并具备内置功能。

收录时间:
2025-06-24
Open Source AI GatewayOpen Source AI Gateway

Open-source AI gateway for managing multiple LLM providers with built-in features.

什么是Open Source AI Gateway?

一个开源的AI网关,用于管理多个大型语言模型(LLM)提供商,如OpenAI、Anthropic、Gemini、Ollama、Mistral和Cohere。它提供内置分析、保护措施、速率限制、缓存和管理控制。支持HTTP和gRPC接口。

如何使用 Open Source AI Gateway?

1. 配置Config.toml文件,填写您的API密钥和模型设置。
2. 运行Docker容器,挂载Config.toml文件。
3. 使用curl命令向网关发起API请求,指定LLM提供商。

Open Source AI Gateway 的核心功能

多提供商支持
HTTP和gRPC接口
智能故障转移
智能缓存
速率限制
管理员仪表板
内容保护措施
企业日志记录
系统提示注入

Open Source AI Gateway相关导航

Open Source AI Gateway 暂无评论

none
暂无评论...