LESSON 6.3 · 理论 · 120 分钟
量化：数值、误差与校准
量化：数值、误差与校准：理解INT8/INT4、weight-only、GPTQ/AWQ/GGUF，完成“对比 4 种量化的质量和速度”。属于「让模型快而可靠地说话」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「量化：数值、误差与校准」解决了什么问题。
- 能围绕 INT8/INT4、weight-only、GPTQ/AWQ/GGUF 画出变量与因果关系。
- 能完成「对比 4 种量化的质量和速度」，并用证据而不是感觉判断结果。
核心概念
INT8/INT4
INT8/INT4用更少比特近似权重或激活。速度收益取决于硬件 kernel，质量损失取决于离群值、分组与校准；文件变小不等于端到端一定更快。
weight-only
weight-only需要在固定质量与负载下比较延迟、吞吐、显存和成本，单独的速度数字没有决策意义。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
GPTQ/AWQ/GGUF
GPTQ/AWQ/GGUF用更少比特近似权重或激活。速度收益取决于硬件 kernel，质量损失取决于离群值、分组与校准；文件变小不等于端到端一定更快。
实践任务
对比 4 种量化的质量和速度
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：从具体反例建立动机，只保留回答核心问题所需的最小组件。
- 验证：使用固定质量约束下测 p50/p95 延迟、吞吐、显存和成本；保存参数、随机种子与原始结果。
- 迁移：改变并发、序列长度或硬件后重新选择缓存与批处理策略，说明原结论是否仍成立。