LESSON 2.8 · 实验 · 90 分钟
Tokenizer 的隐形代价
Tokenizer 的隐形代价：理解数字、空格、多语言、特殊 token、压缩率，完成“比较中英日文本的 tokenization pathology”。属于「语言如何变成概率」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「Tokenizer 的隐形代价」解决了什么问题。
- 能围绕 数字、空格、多语言 画出变量与因果关系。
- 能完成「比较中英日文本的 tokenization pathology」，并用证据而不是感觉判断结果。
核心概念
数字
数字最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 先给它一个可操作的定义，并指出它解决的具体问题。
空格
空格最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
多语言
多语言最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 写出至少一个不变量、shape 约束或成立条件。
特殊 token
特殊 token位于字符串与模型之间。BPE 反复合并高频相邻单元来换取更短序列，但词表、字节边界和特殊 token 会直接影响多语言、公平性与数字处理。
压缩率
压缩率最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 把概念落到可以记录的指标或测试上。
实践任务
比较中英日文本的 tokenization pathology
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：运行前写下预测，只保留回答核心问题所需的最小组件。
- 验证：使用计数基线、困惑度、encode/decode 往返与未见样本；保存参数、随机种子与原始结果。
- 迁移：更换语言、词表或上下文长度后解释性能变化，说明原结论是否仍成立。