不改模型只换词表：推理成本直降 77%，一个判卷系统的词表改造实验

很多团队优化推理成本时，第一反应是量化、蒸馏、换更小的模型。但有一个成本杠杆在训练开始之前就已经固定，而且几乎没人动它——分词器。

一分钟速览

• Dharma-AI 团队在一套葡萄牙语作文自动评分系统上验证了词表专精的效果。
• 系统基于 Qwen3-4B，处理单一语言、单一 JSON 输出格式，但仍沿用为多语言通用场景构建的原始词表。
• 原词表包含 151669 个条目，每次生成都要在整个词表上计算概率，其中大量条目在该任务中几乎不出现。
• 在不改变基础模型、训练数据和训练配方的前提下重建词表，实测推理成本下降 77%。
• 方法名为 VocabX，论文仍在评审中，数据可能调整。

两处被忽视的浪费

通用词表为多语言、多领域设计，从源代码到合同到中文都要覆盖。对通用模型这是合理取舍，对单一领域模型则是双重浪费。

第一处是碎片化。分词器会把领域内最常重复的内容切得很碎：判卷系统每次输出都以同样的 JSON 外壳开头，包含同样的能力项名称、同样的评价短语；合同里是固定条款，代码里是标识符。每多切一刀，就多一次前向计算。

第二处是输出层的软最大化。模型每生成一个 token，都要在整个词表上归一化概率。词表有 15 万个条目，而该任务真实用到的只是其中一小部分——剩下十几万个条目仍然参与计算，产出接近零的概率。

按”成本”而不是”频率”重建词表

VocabX 的核心主张是：词表设计不应该按出现频率排序，而应该按每个 token 的计算成本排序。这两个目标并不一致。一个高频但很短的 token 和一个低频但很长的 token，对总计算量的影响完全不同；而在输出层，每个 token 的边际成本又是相对固定的。

因此，重建词表时要同时考虑输入侧的压缩率和输出侧的候选集规模。团队保留了相同的基础模型、相同的数据、相同的训练配方，只替换分词器并做相应适配，把成本变化隔离出来。

77% 是一个相当激进的数字。它意味着同样的硬件可以处理接近四倍的请求量，或者同样的请求量可以把单价压到原来的四分之一以下。对按调用量计费的产品，这直接决定毛利。

这个方法适合谁

适用条件其实很明确：任务单一、输出格式固定、语言集中。判卷、票据识别、结构化抽取、固定模板的客服回复，都属于这一类。相反，通用聊天、开放式写作、多语言混合场景，词表专精的收益会迅速衰减，因为你需要覆盖的长尾重新变长。

还有一个容易被忽略的前置条件：词表是训练前设定的，换词表意味着要重新训练或至少继续预训练。对已经投入大量算力的大模型，这笔账未必划算；但对 4B 级别、面向单一任务的小模型，重训成本远低于长期推理节省。

成本优化的顺序正在变化

过去两年，推理降本主要靠三件事：量化、批处理、投机解码。这些手段已经接近瓶颈，量化到 4bit 以下精度损失开始明显，批处理受显存和延迟约束。词表专精提供的是另一条路径——它不改变数值精度，不增加延迟，甚至可能降低延迟，因为它减少的是”必须要算的东西”。

更值得关注的是它对小模型路线的影响。当 4B 模型经过词表改造后，成本可以接近 1B 模型的水平，而能力保持在 4B，边缘设备和端侧应用的可行性会被重新评估。对做垂直产品的团队，这可能是比换更大模型更现实的一条路。