Together AI

Together AI 是一个 AI 加速云，提供完整的生成 AI 生命周期的端到端平台。它通过易于使用的 API 和高度可扩展的基础设施，提供快速推理、微调和训练生成 AI 模型的功能。用户可以在他们的 AI 加速云和可扩展的 GPU 集群上运行和微调开源模型，按规模训练和部署模型，并优化性能和成本。该平台支持超过 200 种生成 AI 模型，涵盖各种模态，如聊天、图像、代码等，且提供与 OpenAI 兼容的 API。

用户可以通过易于使用的 API 进行无服务器推理，或通过专用端点在自定义硬件上部署模型。通过简单的命令或通过 API 控制超参数即可实现微调。可以请求 GPU 集群进行大规模训练。该平台还提供 web 界面、API 或命令行接口以启动或停止端点并管理服务。可用的代码执行环境用于构建和运行 AI 开发任务。

用于开源模型的无服务器推理 API
自定义硬件部署的专用端点
微调（LoRA 和全微调）
开源 AI 的 Together Chat 应用
AI 开发环境的代码沙箱
执行 LLM 生成代码的代码解释器
配备 NVIDIA GPU（GB200、B200、H200、H100、A100）的 GPU 集群（即时和保留）
丰富的模型库（200+ 种生成 AI 模型）
与 OpenAI 兼容的 API
加速软件栈（例如，FlashAttention-3，自定义 CUDA 内核）
高速互连（InfiniBand、NVLink）
强大的管理工具（Slurm、Kubernetes）