LESSON 3.7 · 实验 · 100 分钟
采样不是随机按钮
采样不是随机按钮：理解temperature、top-k、top-p、repetition，完成“建立采样参数相图”。属于「从注意力到 GPT」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「采样不是随机按钮」解决了什么问题。
- 能围绕 temperature、top-k、top-p 画出变量与因果关系。
- 能完成「建立采样参数相图」，并用证据而不是感觉判断结果。
核心概念
temperature
temperature只改变解码分布，不会提升模型知识。温度重标 logits，top-k 固定候选数，top-p 按累计概率自适应截断；评估时必须固定随机种子并同时看质量与多样性。
top-k
top-k只改变解码分布，不会提升模型知识。温度重标 logits，top-k 固定候选数，top-p 按累计概率自适应截断；评估时必须固定随机种子并同时看质量与多样性。
top-p
top-p只改变解码分布，不会提升模型知识。温度重标 logits，top-k 固定候选数，top-p 按累计概率自适应截断；评估时必须固定随机种子并同时看质量与多样性。
repetition
repetition需要同时解释信息流、张量 shape 与因果约束，并在一个四 token 小矩阵上手算。 用反例说明忽略它时系统会怎样失败。
实践任务
建立采样参数相图
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：运行前写下预测，只保留回答核心问题所需的最小组件。
- 验证：使用小矩阵手算、mask 单测、权重对齐与生成一致性；保存参数、随机种子与原始结果。
- 迁移：改变 head 数、上下文长度或归一化位置后预测影响，说明原结论是否仍成立。