LESSON 5.1 · 直觉 · 80 分钟
Base model 与 Assistant 的断层
Base model 与 Assistant 的断层：理解预训练分布、对话模板、行为塑形，完成“比较 base/instruct 输出分布”。属于「让模型成为助手」学习阶段。
学完你应该能够
- 用训练分布解释 base 与 instruct 输出差异。
- 说明 chat template 如何改变输入 token 序列与角色边界。
- 把 SFT 的行为塑形与“增加知识”区分开。
- 用六类 prompt 建立可审计的配对观察表。
核心概念
预训练分布
基础模型优化互联网文本中的 next-token likelihood。问题、答案、网页、代码和对话都可能出现，但没有统一的助手角色或服务协议。
Base model 行为
面对 “法国首都是什么？” 时，模型可能回答，也可能继续一段问答网页或重复问题。输出形式是训练分布与 prompt 前缀共同决定的，不应直接等同于知识能力。
Chat template
模板把 system、user、assistant 角色和特殊 token 编码进序列。权重正确但模板错配时，模型可能乱码、串角色或不停生成，应先核对 tokenizer 与模板。
SFT 示范
监督微调用高质量对话示范增加“看到这类用户输入后产生这类助手回复”的概率。它重塑行为先验，但不会保证事实正确、拒答校准或所有格式约束。
Assistant 行为
后训练后的停止、格式、语气与工具协议是数据和目标塑形的结果。它仍基于 next-token generation，只是条件分布被重新组织。
实践任务
完成 base / instruct 六类 prompt 配对实验
- 选择事实问答、格式约束、多轮、不确定性、指令遵循和网页续写六类 prompt。
- 分别保存 raw base token 与 apply_chat_template 后的 token 序列。
- 固定 temperature、top-p、seed 与最大长度，记录输出、停止方式和角色边界。
- 逐行解释更像哪类训练分布；模板错误案例单独标记，不归因于模型能力。