分词器税：同一句话，阿姆哈拉语比英语多花 6 倍 Token

“People should benefit from AI, regardless of the language they speak.”

这句话用 GPT-5 的分词器切，英语 13 个 Token，马拉雅拉姆语 26 个，阿姆哈拉语 78 个。意思一样，字符数差不多，账单差 6 倍。

研究联盟 CLEAR 最近发的报告把这件事叫“分词器税”。覆盖约 200 种语言，最大差距达到 17 倍。原因不复杂：分词器是拿现成的数字文本训练出来的，英语语料多，整词整词地切；数字化程度低的语言，词被切得七零八落。阿姆哈拉语用的吉兹字母更惨，每个字符被拆成两个单字节，切出来的东西连正常显示都做不到。

厂商按 Token 收钱，不管你说什么语言。报告拿 Fable 5 举例，输入每百万 10 美元、输出 50 美元，使用者的语言越边缘，实际单价越高，所以叫“累退税”。

这笔税不只在账单上。

同样的内容占更多 Token，上下文窗口就等于变小了，响应也更慢。一个阿姆哈拉语用户手里的 100 万 Token 上下文，大概只相当于英语用户的六分之一。报告还提到，2023 年就有论文指出过这个现象，三年过去、换了几代模型，差距基本没动，说明没什么人在认真解决。

中文用户可以稍微松口气，中文是高资源语言，不在重灾区。不过拿同样的内容比一比，不同模型切中文的效率也不一样，算成本时单看每百万 Token 标价并不够，拿自己的真实文本跑一遍分词才准。