LESSON 1.6 · 实验 · 110 分钟
损失、正则化与 SGD
损失、正则化与 SGD：理解margin loss、batch、weight decay、学习率，完成“训练 two-moons 分类器并画边界”。属于「神经网络地基」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「损失、正则化与 SGD」解决了什么问题。
- 能围绕 margin loss、batch、weight decay 画出变量与因果关系。
- 能完成「训练 two-moons 分类器并画边界」，并用证据而不是感觉判断结果。
核心概念
margin loss
margin loss要放回前向数值—局部导数—参数更新这条链中，观察它怎样改变最终 loss。 先给它一个可操作的定义，并指出它解决的具体问题。
batch
batch要放回前向数值—局部导数—参数更新这条链中，观察它怎样改变最终 loss。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
weight decay
weight decay规定参数怎样沿噪声梯度移动。学习率决定步长，动量平滑方向，权重衰减约束参数规模；它们的效果必须结合 batch size 与训练阶段解释。
学习率
学习率规定参数怎样沿噪声梯度移动。学习率决定步长，动量平滑方向，权重衰减约束参数规模；它们的效果必须结合 batch size 与训练阶段解释。
实践任务
训练 two-moons 分类器并画边界
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：运行前写下预测，只保留回答核心问题所需的最小组件。
- 验证：使用有限差分、PyTorch 对拍与梯度统计；保存参数、随机种子与原始结果。
- 迁移：增加分支、共享参数或更换激活函数后检查梯度，说明原结论是否仍成立。