一句话定义
多语言能耗差(Language Energy Gap)指的是:在同一个生成任务中、表达同样的意思,非英语文本往往比英语消耗更多的算力和电力。原因在于分词器把它们切得更碎,token 变多了;这并不是模型“想得更用力”。
原理:模型按 token 计价
模型不识字,只认 token。分词器(tokenizer)通常用 BPE 之类的子词算法,词表主要是在英语语料上长出来的。结果就是:
- 高频英语单词常常整词只占 1 个 token;
- 汉字、泰文、缅甸文、阿姆哈拉文以及印度诸文字,在词表里覆盖不足,很容易回退到字节级切分,一个字符被拆成好几个 token;
- 形态丰富的语言(芬兰语、土耳其语、斯瓦希里语)里一个长长的词,可能被切成七八个碎片。
因此,同一段内容,英语版可能只需要 1000 个 token,其他语言版本可能就需要 1500 甚至更多。
打个比方:搬家打包,运费按箱子算。英语像一个标准尺寸的纸箱,同样一屋子的东西能塞进最少的箱子;其它语言像形状不规则的家具,内容一样,箱子更多,运费自然更高。
而且账不是线性叠加的:注意力机制对序列长度是平方级开销,token 一多,算力、显存、延迟一起涨。
和相邻概念的区别
| 概念 | 关注点 | 一句话 |
|---|---|---|
| 分词偏差(tokenization bias) | 计量 | 非英语被切得更碎,token 更多 |
| 多语言能耗差 | 后果 | 把多出来的 token 换算成电费、延迟和碳 |
| 多语言诅咒(curse of multilinguality) | 能力 | 模型容量被多语言分摊,各语言都变弱 |
| 语言数字鸿沟 | 社会 | 低资源语言用户拿到的服务质量更差 |
能耗差是中间那层:它把一个工程细节(分词)翻译成了商业和体验上的差异。
对从业者的实际意义
评测时,分母要选对。多语言成本应该报“每请求 / 每千字”的成本,而不是“每 token 单价”,否则会系统性低估非英语用户的真实开销。
分词器是一个产品决策,并非纯技术细节。词表扩容、语言特定预分词、字节回退策略,都会直接影响毛利和响应速度。
AI 词典:上下文窗口">上下文窗口并不等于实际可用长度。标称的上限对非英语用户来说会明显缩水,长文档场景尤其容易超限。
训练侧也受影响:同样的算力预算下,非英语语料贡献的“有效内容”更少,这是低资源语言追赶慢的一个机械原因——不是唯一原因,但常被忽略。
对普通人的实际意义
- 用同一个 AI 工具,中文提问可能更慢、更贵,长回答更容易被截断;
- 处理长文档、长表格时,非英语更容易超出上下文上限;
- 提示词里混几个英文关键词有时能省一点,但别为了省钱牺牲准确性。
各家词表规模、单价和各语言实测倍率差异很大,具体数字以官方文档和自己语料上的分词实测为准。
