LESSON 2.2 · 推导 · 90 分钟
负对数似然：模型的记分牌
负对数似然：模型的记分牌：理解likelihood、log、NLL、交叉熵，完成“从概率表手算平均 NLL”。属于「语言如何变成概率」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「负对数似然：模型的记分牌」解决了什么问题。
- 能围绕 likelihood、log、NLL 画出变量与因果关系。
- 能完成「从概率表手算平均 NLL」，并用证据而不是感觉判断结果。
核心概念
likelihood
likelihood把不确定性写成可比较的数。语言模型学习的是 p(next token | context)；最大似然要求模型把真实序列分配到更高概率，而不是直接“记住答案”。
log
log最终都要回答它怎样改变下一个 token 的条件分布，以及这种改变如何被 NLL 观测。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
NLL
NLL把概率预测变成可相加的代价。负对数会重罚模型对真实答案给出极低概率；交叉熵等于数据熵加上分布错配，因此优化时真正能降低的是错配部分。
交叉熵
交叉熵把概率预测变成可相加的代价。负对数会重罚模型对真实答案给出极低概率；交叉熵等于数据熵加上分布错配，因此优化时真正能降低的是错配部分。
实践任务
从概率表手算平均 NLL
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：写出已知量与目标量，只保留回答核心问题所需的最小组件。
- 验证：使用计数基线、困惑度、encode/decode 往返与未见样本；保存参数、随机种子与原始结果。
- 迁移：更换语言、词表或上下文长度后解释性能变化，说明原结论是否仍成立。