AT&T 用开源模型把 Anthropic 的账单砍掉八九成，每天 450 亿 token 在重新分流

The Information 的报道给了一组很具体的数字：AT&T 正在把大量 AI 负载从 Anthropic 的闭源模型迁到开源和开放权重模型上，在被针对的那些应用上，成本降幅达到 80% 到 90%。

规模是这样：AT&T 每天处理大约 450 亿个 AI token，目前其中约 25% 已经跑在开源模型上，主要用于网络管理这类任务。公司的目标是把这个比例推到 70% 到 80%。

关键不在”换模型”三个字，在中间那一层。AT&T 自建了一个 cache-aware AI Gateway，做的是智能提示路由——每个请求进来先判断，然后派给能把它做好的最便宜那个模型。这套东西才是省钱的真正来源。同样一句话，用前沿模型和用开源小模型的结果可能没差别，差别只在谁去分辨”这句话属于哪一类”。

AT&T 说这次调整已经省下数百万美元，但没给精确总额。公司的规划是未来几年让员工在 Anthropic 和 OpenAI 模型上的花费保持持平——注意措辞是持平不是下降，也就是说增量全部由开源模型接住，比如英伟达的 Nemotron。

这个案例值得放在更大的背景里看。Anthropic 正在推进 IPO，投资者在推介会上反复追问的问题之一就是”开放权重模型带来的利润率压力”。AT&T 这种量级的企业客户公开在做分流，等于把那个问题从假设变成了案例。

对企业采购来说，可复制的经验其实只有一条：先把任务按难度分层，再决定哪些必须用最贵的。大部分公司现在的用法是所有请求一股脑打给前沿模型，那笔钱里有很大一块本来就不必花。