LESSON 2.4 · 实验 · 120 分钟
MLP 语言模型与数据切分
MLP 语言模型与数据切分：理解Bengio LM、train/dev/test、欠拟合与过拟合，完成“复现 makemore MLP”。属于「语言如何变成概率」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「MLP 语言模型与数据切分」解决了什么问题。
- 能围绕 Bengio LM、train/dev/test、欠拟合与过拟合 画出变量与因果关系。
- 能完成「复现 makemore MLP」，并用证据而不是感觉判断结果。
核心概念
Bengio LM
Bengio LM最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 先给它一个可操作的定义，并指出它解决的具体问题。
train/dev/test
train/dev/test最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
欠拟合与过拟合
欠拟合与过拟合最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 写出至少一个不变量、shape 约束或成立条件。
实践任务
复现 makemore MLP
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：运行前写下预测，只保留回答核心问题所需的最小组件。
- 验证：使用计数基线、困惑度、encode/decode 往返与未见样本；保存参数、随机种子与原始结果。
- 迁移：更换语言、词表或上下文长度后解释性能变化，说明原结论是否仍成立。