Anthropic用Claude把Messages API从Python搬到Rust，CPU降了四到五成

Anthropic 最近在 Latent Space 上讲了一次内部迁移，挺有参考价值。

他们的 Messages API，也就是开发者调 Claude 用的那个接口，最早是一个跑在单一 GCP 区域里的 Python 单体服务。流量涨上来之后，瓶颈出现在一个大家不太会想到的地方：CPU，不是 GPU。

模型推理在 GPU 上，但请求的接收、鉴权、路由、流式输出的拼装，全都在 CPU 上跑。Python 在高并发下吃 CPU 吃得很凶。

团队决定整个换成 Rust。麻烦的是，项目启动时，用他们的话说，“会议室里一个 Rust 开发者都没有”。

分工是这样的：工程师负责系统设计和验证，Claude 负责写代码。验证方法很朴素，新旧系统同时跑，对照两边的输出是否一致。

结果是 CPU 用量降了 40% 到 50%，首个 token 的响应时间缩短了 10% 到 20%。

这个案例里我觉得最有用的是验证方式。让 AI 从零写一个新系统，很难判断它对不对；但让 AI 重写一个已经在跑的系统，旧系统本身就是标准答案，差异一比就知道。

很多公司手里都有用 Python、PHP 写的老服务，性能吃紧又不敢动。这种“有参照物的重写”，可能是 AI 编程目前最稳妥的落地场景之一。