第 10 章:分词器——剖腹数粉 🍜

10.1 你吃了几碗粉?

第 2 章我们见过分词器——它是把文字切成 token 的翻译官。当时的重点是"模型怎么思考"。这一章,我们换一个角度:这一刀切下去,你得付多少钱。

"你吃了两碗粉,只给了一碗的钱——""你不是欺负老实人吗?"

《让子弹飞》里的名场面:六子被胡万诬陷吃了两碗粉只付了一碗的钱。六子剖开肚子,把粉掏出来数——胡万说几碗就是几碗,你辩解没用。

LLM 收费就是这样。

厂家不看你说的话"意思上是多少",只看分词器切开后数出来是几个 token。你觉得自己只说了五个字,但分词器的刀法决定了——"这算六个。"

---

10.2 Token 怎么算?用刀说话

同一个中文句子:

"帮我写一份关于人工智能发展趋势的报告"

Claude 的刀法(西餐出身):

帮 / 我 / 写 / 一 / 份 / 关 / 于 / 人 / 工 / 智 / 能 / 发 / 展 / 趋 / 势 / 的 / 报 / 告
→ 18 tokens

DeepSeek 的刀法(中餐出身):

帮我 / 写 / 一份 / 关于 / 人工智能 / 发展 / 趋势 / 的 / 报告
→ 10 tokens

同一句话。同样的意思。一个被切成 18 块,一个被切成 10 块。

收费按刀数算。你管不了厨师的刀法。

英文分词器普遍比中文高效——因为英文单词天然有空格分隔,而中文需要分词器自己判断哪里该切。所以同一句话,英文可能只要 8 个 token,中文却被切成 18 个。

上面的切法是简化示意。实际分词器用的 BPE 算法会合并常见词组,Claude 遇到"人工智能"也不一定真的逐字切。但大方向不变:英文模型的中文分词效率普遍低于中文原生模型。

---

10.3 滚雪球效应

刚开始几轮对话,18 token 和 10 token 差距不大——几毛钱的事。

但还记得第 9 章讲的吗?API 不帮你记聊天记录。每次请求都要带完整历史。这意味着 token 消耗不是线性增长,而是加速增长:

Claude(每轮新增 18 tokens):
第 1 轮输入:18
第 2 轮输入:18 + 18 = 36     ← 带上第一轮历史
第 3 轮输入:18 + 18 + 18 = 54
...
第 10 轮输入:18 × 10 = 180

十轮累计输入:18 + 36 + 54 + ... + 180 = 990 tokens

DeepSeek(每轮新增 10 tokens):
第 1 轮输入:10
第 2 轮输入:10 + 10 = 20
第 3 轮输入:10 + 10 + 10 = 30
...
第 10 轮输入:10 × 10 = 100

十轮累计输入:10 + 20 + 30 + ... + 100 = 550 tokens

十轮下来:990 vs 550,差距 440 tokens。而且越往后差距拉开得越快——第二十轮时,单轮输入差距就是 160 tokens,第三十轮是 240 tokens。

这就是真正的滚雪球:刀法碎一点点,乘以"每轮带完整历史",累计成本成倍拉开。

---

10.4 明升暗降:版本号越大,不一定越划算

有一种坑,叫"新版本的刀更碎了"。

Opus 4.6 → Opus 4.7

同一个 prompt:

版本	Token 数	对比
Opus 4.6	120 tokens	基准
Opus 4.7	156 tokens	+30%

能力确实提升了一点。但同一句话多切 30% token,加上新版本更爱反问而不是直接动手——多几轮对话,多几轮计费。

能力↑,费用↑↑。升级不一定是全方位的升级。

---

10.5 怎么看自己被切了多少刀

知道刀法有差距还不够——你得知道去哪里查自己的账单。

第一,API 响应自带 token 计数。每次调用 API,返回的 JSON 里都有一个 usage 字段:

"usage": {
  "prompt_tokens": 156,
  "completion_tokens": 89,
  "total_tokens": 245
}

prompt_tokens 是你输入花了多少,completion_tokens 是模型回答花了多少,total_tokens 是总数。不需要你自己数——API 帮你数好了。养成习惯:跑完一轮就看一眼这个字段,心里有数。

第二,在线 Tokenizer 工具。各厂商都有自己的分词器测试页面(比如 OpenAI 的 tiktoken playground)。把同一句话分别扔进不同模型的分词器里,亲眼看刀法区别——比我在教程里列静态例子有说服力得多。

DeepSeek 官方也提供了 Tokenizer 工具包:https://cdn.deepseek.com/api-docs/deepseek_v3_tokenizer.zip

六子的悲剧是——胡万说几碗就是几碗。你在 API 账单面前也一样:分词器说几个 token 就是几个,你的感觉不算数。唯一的区别是,你可以换一家刀法更好的厨房。

---

本章要点

概念	一句话
分词器	剖开肚子数粉——厂家按自己的刀法算 token,你说了不算
中英差异	英文分词天然高效,中文容易被切得更碎
滚雪球	刀法差距 × 每轮带完整历史 = 累计成本成倍拉开
明升暗降	新版本可能能力↑但刀法更碎,费用反升
查账方法	API 响应的 usage 字段 + 在线 Tokenizer 工具