LESSON 0.1 · 地图 · 45 分钟
先画地图：LLM 全栈与学习方法
先画地图：LLM 全栈与学习方法：理解预训练、后训练、推理、应用四层；参数与状态的边界，完成“画出一次请求从文本到输出 token 的完整链路”。属于「进入模型之前」学习阶段。
学完你应该能够
- 区分训练时改变的参数与请求时改变的状态。
- 画出数据→token→训练→base model→后训练→assistant→推理/工具主链。
- 把 2.x–7.x 课程准确挂到主链。
- 解释为什么“会续写”不等于“会当助手”。
核心概念
数据与 token
互联网文本先经过收集、过滤、去重与混合，再由固定 tokenizer 变成离散 id。更换 tokenizer 会改变词表、序列长度、embedding 对齐和所有下游权重接口。
预训练与参数
next-token objective 通过梯度更新模型参数，把训练分布压进权重。用户发一条新消息不会立即重训参数；它只改变本次请求可见的状态。
Base model
基础模型学习延续训练文本的条件分布，因此遇到问题句可能继续网页、论坛或问答格式。行为像续写不是“坏掉”，而是目标与数据分布的直接结果。
后训练与 Assistant
SFT、偏好与 RL 等后训练把示范、反馈和任务奖励写入参数，使模型更常遵循角色、格式和停止规则。具体算法在 5.x 展开。
推理状态
prompt、生成 token、KV cache、采样参数都属于请求时状态。temperature 会重标解码分布，但不会新增参数知识或修改模型权重。
实践任务
在 45 分钟内重建一张可用的 LLM 全栈地图
- 0–3 分钟：不查资料画出 ChatGPT 请求链。
- 3–34 分钟：观看六个 required 片段，每段只回答卡片中的一个问题。
- 34–41 分钟：重画数据流、参数更新流和请求状态流，并在箭头旁写动词。
- 41–45 分钟：闭卷回答四题，标出 2.x、3.x、5.x、6.x、7.x 的落点。