LESSON 4.10 · 验收 · 240 分钟
掌握门 4：从 nanoGPT 到小型预训练
掌握门 4：从 nanoGPT 到小型预训练：理解数据、资源、训练、评估统一，完成“提交预算、日志、故障复盘与可复现实验”。属于「把训练变成系统」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「掌握门 4：从 nanoGPT 到小型预训练」解决了什么问题。
- 能围绕 数据、资源、训练 画出变量与因果关系。
- 能完成「提交预算、日志、故障复盘与可复现实验」，并用证据而不是感觉判断结果。
核心概念
数据
数据必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 先给它一个可操作的定义，并指出它解决的具体问题。
资源
资源必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
训练
训练必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 写出至少一个不变量、shape 约束或成立条件。
评估统一
评估统一必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 用反例说明忽略它时系统会怎样失败。
实践任务
提交预算、日志、故障复盘与可复现实验
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：闭卷解释核心机制，只保留回答核心问题所需的最小组件。
- 验证：使用吞吐剖析、消融实验、故障注入与 checkpoint 恢复；保存参数、随机种子与原始结果。
- 迁移：改变模型规模、GPU 拓扑或数据混合后重做预算，说明原结论是否仍成立。