LESSON 3.4 · 理论 · 110 分钟
位置、残差与归一化
位置、残差与归一化：理解positional embedding、pre-norm、residual stream，完成“比较 pre/post norm 的梯度”。属于「从注意力到 GPT」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「位置、残差与归一化」解决了什么问题。
- 能围绕 positional embedding、pre-norm、residual stream 画出变量与因果关系。
- 能完成「比较 pre/post norm 的梯度」，并用证据而不是感觉判断结果。
核心概念
positional embedding
positional embedding本质上是可训练查表：离散 id 选择参数矩阵的一行。相似性不是预先赋予的语义，而是训练目标让经常承担相似预测角色的行逐渐靠近。
pre-norm
pre-norm为深层网络保留一条近似恒等的信息与梯度通道。Pre-Norm 把归一化放在子层前，通常更易优化；残差相加要求主分支与更新分支 shape 完全一致。
residual stream
residual stream为深层网络保留一条近似恒等的信息与梯度通道。Pre-Norm 把归一化放在子层前，通常更易优化；残差相加要求主分支与更新分支 shape 完全一致。
实践任务
比较 pre/post norm 的梯度
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：从具体反例建立动机，只保留回答核心问题所需的最小组件。
- 验证：使用小矩阵手算、mask 单测、权重对齐与生成一致性；保存参数、随机种子与原始结果。
- 迁移：改变 head 数、上下文长度或归一化位置后预测影响，说明原结论是否仍成立。