LESSON 4.5 · 系统 · 140 分钟
GPU、Kernel 与内存层级
GPU、Kernel 与内存层级：理解HBM、SRAM、arithmetic intensity、roofline，完成“profile attention 算子”。属于「把训练变成系统」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「GPU、Kernel 与内存层级」解决了什么问题。
- 能围绕 HBM、SRAM、arithmetic intensity 画出变量与因果关系。
- 能完成「profile attention 算子」，并用证据而不是感觉判断结果。
核心概念
HBM
HBM解释算子为何没有跑到标称 FLOPs。算术强度低时，数据搬运而不是乘加成为瓶颈；优化目标是复用片上数据、减少 HBM 往返。
SRAM
SRAM解释算子为何没有跑到标称 FLOPs。算术强度低时，数据搬运而不是乘加成为瓶颈；优化目标是复用片上数据、减少 HBM 往返。
arithmetic intensity
arithmetic intensity解释算子为何没有跑到标称 FLOPs。算术强度低时，数据搬运而不是乘加成为瓶颈；优化目标是复用片上数据、减少 HBM 往返。
roofline
roofline解释算子为何没有跑到标称 FLOPs。算术强度低时，数据搬运而不是乘加成为瓶颈；优化目标是复用片上数据、减少 HBM 往返。
实践任务
profile attention 算子
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：画出关键资源与队列，只保留回答核心问题所需的最小组件。
- 验证：使用吞吐剖析、消融实验、故障注入与 checkpoint 恢复；保存参数、随机种子与原始结果。
- 迁移：改变模型规模、GPU 拓扑或数据混合后重做预算，说明原结论是否仍成立。