LESSON 2.5 · 诊断 · 120 分钟
训练深网：激活、梯度与 BatchNorm
训练深网：激活、梯度与 BatchNorm：理解初始化尺度、饱和、BatchNorm 训练/推理差异，完成“建立 activation/gradient dashboard”。属于「语言如何变成概率」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「训练深网：激活、梯度与 BatchNorm」解决了什么问题。
- 能围绕 初始化尺度、饱和、BatchNorm 训练/推理差异 画出变量与因果关系。
- 能完成「建立 activation/gradient dashboard」，并用证据而不是感觉判断结果。
核心概念
初始化尺度
初始化尺度控制深层网络中的数值尺度。目标不是让所有值都一样，而是让每层前向激活与反向梯度处在可学习范围，同时区分训练期统计与推理期行为。
饱和
饱和决定信号与梯度能否穿过网络。观察均值、方差和饱和比例比只看 loss 更早发现问题；激活分布一旦挤在平坦区，前层几乎收不到学习信号。
BatchNorm 训练/推理差异
BatchNorm 训练/推理差异控制深层网络中的数值尺度。目标不是让所有值都一样，而是让每层前向激活与反向梯度处在可学习范围，同时区分训练期统计与推理期行为。
实践任务
建立 activation/gradient dashboard
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：先复现并冻结现场，只保留回答核心问题所需的最小组件。
- 验证：使用计数基线、困惑度、encode/decode 往返与未见样本；保存参数、随机种子与原始结果。
- 迁移：更换语言、词表或上下文长度后解释性能变化，说明原结论是否仍成立。