LESSON 1.7 · 诊断 · 100 分钟
为什么网络会训坏
为什么网络会训坏：理解死 ReLU、梯度消失/爆炸、初始化与激活统计，完成“诊断四个故障网络”。属于「神经网络地基」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「为什么网络会训坏」解决了什么问题。
- 能围绕 死 ReLU、梯度消失/爆炸、初始化与激活统计 画出变量与因果关系。
- 能完成「诊断四个故障网络」，并用证据而不是感觉判断结果。
核心概念
死 ReLU
死 ReLU决定信号与梯度能否穿过网络。观察均值、方差和饱和比例比只看 loss 更早发现问题；激活分布一旦挤在平坦区，前层几乎收不到学习信号。
梯度消失/爆炸
梯度消失/爆炸描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian，而是从标量损失出发不断计算向量—雅可比积，所以一次反向传播能得到全部参数梯度。
初始化与激活统计
初始化与激活统计决定信号与梯度能否穿过网络。观察均值、方差和饱和比例比只看 loss 更早发现问题；激活分布一旦挤在平坦区，前层几乎收不到学习信号。
实践任务
诊断四个故障网络
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：先复现并冻结现场，只保留回答核心问题所需的最小组件。
- 验证：使用有限差分、PyTorch 对拍与梯度统计；保存参数、随机种子与原始结果。
- 迁移：增加分支、共享参数或更换激活函数后检查梯度，说明原结论是否仍成立。