LESSON 3.9 · 工程 · 180 分钟
复现 124M：从正确到更快
复现 124M：从正确到更快：理解mixed precision、compile、FlashAttention、梯度累积，完成“沿 Karpathy 视频逐项优化吞吐”。属于「从注意力到 GPT」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「复现 124M：从正确到更快」解决了什么问题。
- 能围绕 mixed precision、compile、FlashAttention 画出变量与因果关系。
- 能完成「沿 Karpathy 视频逐项优化吞吐」，并用证据而不是感觉判断结果。
核心概念
mixed precision
mixed precision需要同时解释信息流、张量 shape 与因果约束，并在一个四 token 小矩阵上手算。 先给它一个可操作的定义，并指出它解决的具体问题。
compile
compile需要同时解释信息流、张量 shape 与因果约束，并在一个四 token 小矩阵上手算。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
FlashAttention
FlashAttention通过分块和在线 softmax 避免把完整注意力矩阵写回 HBM。它保持数学结果等价，速度来自更少 IO，而不是近似注意力。
梯度累积
梯度累积描述微小扰动如何影响最终目标。反向模式不显式构造巨大 Jacobian，而是从标量损失出发不断计算向量—雅可比积，所以一次反向传播能得到全部参数梯度。
实践任务
沿 Karpathy 视频逐项优化吞吐
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：定义约束与成功指标，只保留回答核心问题所需的最小组件。
- 验证：使用小矩阵手算、mask 单测、权重对齐与生成一致性；保存参数、随机种子与原始结果。
- 迁移：改变 head 数、上下文长度或归一化位置后预测影响，说明原结论是否仍成立。