LESSON 3.1 · 直觉 · 100 分钟
上下文聚合：从平均池化到注意力
上下文聚合：从平均池化到注意力：理解weighted aggregation、query/key/value 的动机，完成“逐步替换一个 bigram 模型的上下文”。属于「从注意力到 GPT」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「上下文聚合：从平均池化到注意力」解决了什么问题。
- 能围绕 weighted aggregation、query/key/value 的动机 画出变量与因果关系。
- 能完成「逐步替换一个 bigram 模型的上下文」，并用证据而不是感觉判断结果。
核心概念
weighted aggregation
weighted aggregation需要同时解释信息流、张量 shape 与因果约束，并在一个四 token 小矩阵上手算。 先给它一个可操作的定义，并指出它解决的具体问题。
query/key/value 的动机
query/key/value 的动机把“我要找什么”与“每个位置提供什么”分开：Q 与 K 产生路由权重，softmax 归一化后对 V 加权求和；缩放避免维度增大时 logits 过尖。
实践任务
逐步替换一个 bigram 模型的上下文
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：从一个可手算例子开始，只保留回答核心问题所需的最小组件。
- 验证：使用小矩阵手算、mask 单测、权重对齐与生成一致性；保存参数、随机种子与原始结果。
- 迁移：改变 head 数、上下文长度或归一化位置后预测影响，说明原结论是否仍成立。