LESSON 1.4 · 实验 · 80 分钟
梯度检查：相信代码之前先验证
梯度检查：相信代码之前先验证：理解有限差分、中心差分、误差尺度，完成“对每个运算符做 PyTorch 对拍”。属于「神经网络地基」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「梯度检查：相信代码之前先验证」解决了什么问题。
- 能围绕 有限差分、中心差分、误差尺度 画出变量与因果关系。
- 能完成「对每个运算符做 PyTorch 对拍」，并用证据而不是感觉判断结果。
核心概念
有限差分
有限差分用函数值变化近似解析梯度。中心差分的截断误差通常更小，但步长太大会不局部、太小会遭遇浮点消减，因此应比较相对误差并抽样检查。
中心差分
中心差分用函数值变化近似解析梯度。中心差分的截断误差通常更小，但步长太大会不局部、太小会遭遇浮点消减，因此应比较相对误差并抽样检查。
误差尺度
误差尺度控制深层网络中的数值尺度。目标不是让所有值都一样，而是让每层前向激活与反向梯度处在可学习范围，同时区分训练期统计与推理期行为。
实践任务
对每个运算符做 PyTorch 对拍
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：运行前写下预测，只保留回答核心问题所需的最小组件。
- 验证：使用有限差分、PyTorch 对拍与梯度统计；保存参数、随机种子与原始结果。
- 迁移：增加分支、共享参数或更换激活函数后检查梯度，说明原结论是否仍成立。