LESSON 1.2 · 推导 · 100 分钟

链式法则是一条消息传递规则

链式法则是一条消息传递规则:理解局部导数、上游梯度、梯度累加,完成“给计算图逐边标注梯度”。属于「神经网络地基」学习阶段。

学完你应该能够

  1. 能不用术语堆砌,解释「链式法则是一条消息传递规则」解决了什么问题。
  2. 能围绕 局部导数、上游梯度、梯度累加 画出变量与因果关系。
  3. 能完成「给计算图逐边标注梯度」,并用证据而不是感觉判断结果。

核心概念

局部导数

局部导数描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。

上游梯度

上游梯度描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。

梯度累加

梯度累加描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。

实践任务

给计算图逐边标注梯度

  • 预测:在运行代码前,写下你预期的输出、趋势或失败位置。
  • 构建:写出已知量与目标量,只保留回答核心问题所需的最小组件。
  • 验证:使用有限差分、PyTorch 对拍与梯度统计;保存参数、随机种子与原始结果。
  • 迁移:增加分支、共享参数或更换激活函数后检查梯度,说明原结论是否仍成立。

进入完整互动课程