LESSON 5.7 · 诊断 · 100 分钟
幻觉、校准与不确定性
幻觉、校准与不确定性：理解事实性、abstention、confidence、RAG 边界，完成“设计可证伪的幻觉评测集”。属于「让模型成为助手」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「幻觉、校准与不确定性」解决了什么问题。
- 能围绕 事实性、abstention、confidence 画出变量与因果关系。
- 能完成「设计可证伪的幻觉评测集」，并用证据而不是感觉判断结果。
核心概念
事实性
事实性要求模型的置信程度与真实正确率匹配。生成概率不是事实概率；应分别评估回答正确性、拒答选择和证据可验证性。
abstention
abstention要求模型的置信程度与真实正确率匹配。生成概率不是事实概率；应分别评估回答正确性、拒答选择和证据可验证性。
confidence
confidence要求模型的置信程度与真实正确率匹配。生成概率不是事实概率；应分别评估回答正确性、拒答选择和证据可验证性。
RAG 边界
RAG 边界要放进目标—数据—优化—评测闭环，特别检查代理指标是否会被模型钻空子。 用反例说明忽略它时系统会怎样失败。
实践任务
设计可证伪的幻觉评测集
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：先复现并冻结现场，只保留回答核心问题所需的最小组件。
- 验证：使用固定评测集、人工复核、置信区间与失败样本分层；保存参数、随机种子与原始结果。
- 迁移：改变用户群、风险等级或奖励信号后重新设计评测，说明原结论是否仍成立。