同一句话换成藏文要多付17倍token：非英语用户的“词元税”

用大模型的成本，跟你说什么语言有很大关系，而且差距比多数人想的离谱。

研究机构 CLEAR（语言公平联盟）测了一批支持 200 种语言的模型，同样意思的一段话，换成不同语言后切出来的 token 数量差距最大能到 17 倍。藏文、高棉文这类书写系统差得最多。

原因在分词器。主流模型的分词器基本是用英语语料优化出来的，英语一个常见单词往往就是一个 token，冷门文字可能要拆成好几个字节片段才能表示。

按 token 计费的话，这就是一笔看不见的附加费。研究里管它叫“词元税”。

多付钱只是其中一样。token 多了，响应变慢；上下文窗口按 token 算，同样 128K 的窗口，英语用户能塞进一本书，换成高成本语言可能只装得下几章。

中文的情况比藏文好很多，近两年国产模型普遍扩充了中文词表，一个汉字一个 token 甚至更省已经常见。但用海外模型处理中文，成本仍然比英文高一截，做过多语言 API 账单的人应该有体感。

研究建议 AI 实验室把各语言的分词效率当核心指标公开，出一份按语言计费的公平性记分卡。

巧的是，国内这两天也在讨论“Token 该不该叫词元”。人民网发评论，主张公共传播和教学场景里推广“词元”“智能体”这类中文译名。一边是术语叫法，一边是真金白银的计费差异，前者争的是话语权，后者才是用户每个月实际在付的钱。