LESSON 4.3 · 实验 · 120 分钟
训练循环的每一个旋钮
训练循环的每一个旋钮：理解AdamW、warmup、cosine、clip、checkpoint，完成“做优化器与学习率消融”。属于「把训练变成系统」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「训练循环的每一个旋钮」解决了什么问题。
- 能围绕 AdamW、warmup、cosine 画出变量与因果关系。
- 能完成「做优化器与学习率消融」，并用证据而不是感觉判断结果。
核心概念
AdamW
AdamW规定参数怎样沿噪声梯度移动。学习率决定步长，动量平滑方向，权重衰减约束参数规模；它们的效果必须结合 batch size 与训练阶段解释。
warmup
warmup规定参数怎样沿噪声梯度移动。学习率决定步长，动量平滑方向，权重衰减约束参数规模；它们的效果必须结合 batch size 与训练阶段解释。
cosine
cosine规定参数怎样沿噪声梯度移动。学习率决定步长，动量平滑方向，权重衰减约束参数规模；它们的效果必须结合 batch size 与训练阶段解释。
clip
clip必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 用反例说明忽略它时系统会怎样失败。
checkpoint
checkpoint必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 把概念落到可以记录的指标或测试上。
实践任务
做优化器与学习率消融
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：运行前写下预测，只保留回答核心问题所需的最小组件。
- 验证：使用吞吐剖析、消融实验、故障注入与 checkpoint 恢复；保存参数、随机种子与原始结果。
- 迁移：改变模型规模、GPU 拓扑或数据混合后重做预算，说明原结论是否仍成立。