LESSON 4.8 · 理论 · 100 分钟
Scaling Laws 与 Chinchilla 直觉
Scaling Laws 与 Chinchilla 直觉：理解compute-optimal、数据/参数配比、外推风险，完成“拟合一组小模型 scaling curve”。属于「把训练变成系统」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「Scaling Laws 与 Chinchilla 直觉」解决了什么问题。
- 能围绕 compute-optimal、数据/参数配比、外推风险 画出变量与因果关系。
- 能完成「拟合一组小模型 scaling curve」，并用证据而不是感觉判断结果。
核心概念
compute-optimal
compute-optimal用经验幂律连接损失、参数、数据与计算量。它适合做预算和比较，不是自然定律；数据质量、架构和外推区间改变时，拟合系数也会变。
数据/参数配比
数据/参数配比必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
外推风险
外推风险用经验幂律连接损失、参数、数据与计算量。它适合做预算和比较，不是自然定律；数据质量、架构和外推区间改变时，拟合系数也会变。
实践任务
拟合一组小模型 scaling curve
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：从具体反例建立动机，只保留回答核心问题所需的最小组件。
- 验证：使用吞吐剖析、消融实验、故障注入与 checkpoint 恢复；保存参数、随机种子与原始结果。
- 迁移：改变模型规模、GPU 拓扑或数据混合后重做预算，说明原结论是否仍成立。