LESSON 5.2 · 工程 · 130 分钟
SFT：用示范重写行为先验
SFT：用示范重写行为先验：理解instruction data、mask、packing、chat template，完成“用 LoRA 做一次小型 SFT”。属于「让模型成为助手」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「SFT：用示范重写行为先验」解决了什么问题。
- 能围绕 instruction data、mask、packing 画出变量与因果关系。
- 能完成「用 LoRA 做一次小型 SFT」，并用证据而不是感觉判断结果。
核心概念
instruction data
instruction data用高质量示范把基础模型的续写分布塑造成助手行为。训练时通常只对目标回复计算 loss；模板、mask 和 packing 错误会让模型学到错误角色或跨样本泄漏。
mask
mask是因果约束而非普通正则化。训练时整段序列并行计算，但第 t 个位置只能读取不晚于 t 的 token，否则模型会偷看答案并得到虚假低 loss。
packing
packing用高质量示范把基础模型的续写分布塑造成助手行为。训练时通常只对目标回复计算 loss；模板、mask 和 packing 错误会让模型学到错误角色或跨样本泄漏。
chat template
chat template用高质量示范把基础模型的续写分布塑造成助手行为。训练时通常只对目标回复计算 loss；模板、mask 和 packing 错误会让模型学到错误角色或跨样本泄漏。
实践任务
用 LoRA 做一次小型 SFT
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：定义约束与成功指标，只保留回答核心问题所需的最小组件。
- 验证：使用固定评测集、人工复核、置信区间与失败样本分层；保存参数、随机种子与原始结果。
- 迁移：改变用户群、风险等级或奖励信号后重新设计评测，说明原结论是否仍成立。