LESSON 0.5 · 推导 · 100 分钟
导数、偏导与链式法则
导数、偏导与链式法则:理解局部斜率、Jacobian、计算图、向量-雅可比积,完成“手算一个二层函数的所有局部导数”。属于「进入模型之前」学习阶段。
学完你应该能够
- 能不用术语堆砌,解释「导数、偏导与链式法则」解决了什么问题。
- 能围绕 局部斜率、Jacobian、计算图 画出变量与因果关系。
- 能完成「手算一个二层函数的所有局部导数」,并用证据而不是感觉判断结果。
核心概念
局部斜率
局部斜率要落在一个可手算的小例子上:写清输入、运算、输出与单位,再用代码对拍。 先给它一个可操作的定义,并指出它解决的具体问题。
Jacobian
Jacobian描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。
计算图
计算图要落在一个可手算的小例子上:写清输入、运算、输出与单位,再用代码对拍。 写出至少一个不变量、shape 约束或成立条件。
向量-雅可比积
向量-雅可比积描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian,而是从标量损失出发不断计算向量—雅可比积,所以一次反向传播能得到全部参数梯度。
实践任务
手算一个二层函数的所有局部导数
- 预测:在运行代码前,写下你预期的输出、趋势或失败位置。
- 构建:写出已知量与目标量,只保留回答核心问题所需的最小组件。
- 验证:使用手算结果、NumPy/PyTorch 对拍与边界输入;保存参数、随机种子与原始结果。
- 迁移:换一个 shape、dtype 或数据分布后重新预测结果,说明原结论是否仍成立。