LiteLLM 这周把 /v1/messages 用 Rust 重写了，还上了按客户算推理花费的门户

开源的模型网关 LiteLLM 这周更新了一批功能，有两个对正在用它做产品的团队比较实用。

第一个是客户门户的测试版。它可以把调用流量和推理花费按客户归属，算清楚每个客户到底用掉了多少钱。对把大模型能力打包卖给企业客户的公司来说，这是对账和定价的基础，以前很多团队得自己在网关外面再写一层统计。

第二个是性能。/v1/messages 接口，也就是 Anthropic 风格的消息接口，已经完全用 Rust 重写。LiteLLM 本体是 Python 写的，高并发下的延迟一直是被竞品拿来攻击的点，这次先从最热的接口下手。

另外两项：新模型 Day 0 支持，Claude 和 Gemini 的新模型一发布，主流云平台上的调用当天就能接上；还集成了 Replicate 上的视频、图像和语音模型。

背景补一句。LiteLLM 今年 3 月出过一次供应链事故，PyPI 上的 1.82.7 和 1.82.8 两个版本被植入了窃取凭证的恶意代码，挂了大约三个小时才被隔离。那之后项目方轮换了维护者账号，开始给发布版本公开校验值。

如果你还在用它，升级前先核对校验值，这已经是这个项目的标准动作了。