LESSON 3.3 · 代码 · 100 分钟
Multi-Head：并行读取不同关系
Multi-Head：并行读取不同关系：理解head 分割、concat、projection、容量，完成“实现并可视化多头注意力”。属于「从注意力到 GPT」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「Multi-Head：并行读取不同关系」解决了什么问题。
- 能围绕 head 分割、concat、projection 画出变量与因果关系。
- 能完成「实现并可视化多头注意力」，并用证据而不是感觉判断结果。
核心概念
head 分割
head 分割让多个较小子空间并行学习不同路由模式。head 数增加不会自动增加总维度；需要追踪拆分、拼接和输出投影，避免把“更多头”误解为免费容量。
concat
concat需要同时解释信息流、张量 shape 与因果约束，并在一个四 token 小矩阵上手算。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
projection
projection把一组输入方向重新混合为输出方向。对神经网络而言，每个输出维都是输入维的加权和；批次维不参与混合，因此必须能逐维说清权重矩阵的含义。
容量
容量需要同时解释信息流、张量 shape 与因果约束，并在一个四 token 小矩阵上手算。 用反例说明忽略它时系统会怎样失败。
实践任务
实现并可视化多头注意力
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：先写接口和 shape 断言，只保留回答核心问题所需的最小组件。
- 验证：使用小矩阵手算、mask 单测、权重对齐与生成一致性；保存参数、随机种子与原始结果。
- 迁移：改变 head 数、上下文长度或归一化位置后预测影响，说明原结论是否仍成立。