LESSON 2.9 · 验收 · 180 分钟
掌握门 2：实现 minBPE + makemore
掌握门 2：实现 minBPE + makemore：理解语言建模与 tokenizer 的完整闭环，完成“未知语料训练、评测并解释失败案例”。属于「语言如何变成概率」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「掌握门 2：实现 minBPE + makemore」解决了什么问题。
- 能围绕 语言建模与 tokenizer 的完整闭环 画出变量与因果关系。
- 能完成「未知语料训练、评测并解释失败案例」，并用证据而不是感觉判断结果。
核心概念
语言建模与 tokenizer 的完整闭环
语言建模与 tokenizer 的完整闭环位于字符串与模型之间。BPE 反复合并高频相邻单元来换取更短序列，但词表、字节边界和特殊 token 会直接影响多语言、公平性与数字处理。
实践任务
未知语料训练、评测并解释失败案例
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：闭卷解释核心机制，只保留回答核心问题所需的最小组件。
- 验证：使用计数基线、困惑度、encode/decode 往返与未见样本；保存参数、随机种子与原始结果。
- 迁移：更换语言、词表或上下文长度后解释性能变化，说明原结论是否仍成立。