LESSON 1.2 · 推导 · 100 分钟
链式法则是一条消息传递规则
链式法则是一条消息传递规则:理解局部导数、上游梯度、梯度累加,完成“给计算图逐边标注梯度”。属于「神经网络地基」学习阶段。
学完你应该能够
- 能不用术语堆砌,解释「链式法则是一条消息传递规则」解决了什么问题。
- 能围绕 局部导数、上游梯度、梯度累加 画出变量与因果关系。
- 能完成「给计算图逐边标注梯度」,并用证据而不是感觉判断结果。
核心概念
局部导数
局部导数描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。
上游梯度
上游梯度描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。
梯度累加
梯度累加描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。
实践任务
给计算图逐边标注梯度
- 预测:在运行代码前,写下你预期的输出、趋势或失败位置。
- 构建:写出已知量与目标量,只保留回答核心问题所需的最小组件。
- 验证:使用有限差分、PyTorch 对拍与梯度统计;保存参数、随机种子与原始结果。
- 迁移:增加分支、共享参数或更换激活函数后检查梯度,说明原结论是否仍成立。