LESSON 7.5 · 工程 · 130 分钟
Agent 评测：从最终答案到轨迹
Agent 评测：从最终答案到轨迹：理解task success、trajectory、tool error、cost、latency，完成“建立 30 条回归任务集”。属于「从模型到智能系统」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「Agent 评测：从最终答案到轨迹」解决了什么问题。
- 能围绕 task success、trajectory、tool error 画出变量与因果关系。
- 能完成「建立 30 条回归任务集」，并用证据而不是感觉判断结果。
核心概念
task success
task success必须映射为可观察状态、权限边界和可回放轨迹，才能被测试与审计。 先给它一个可操作的定义，并指出它解决的具体问题。
trajectory
trajectory必须映射为可观察状态、权限边界和可回放轨迹，才能被测试与审计。 把它放进前后依赖中：输入从哪里来，输出会改变谁。
tool error
tool error必须映射为可观察状态、权限边界和可回放轨迹，才能被测试与审计。 写出至少一个不变量、shape 约束或成立条件。
cost
cost必须映射为可观察状态、权限边界和可回放轨迹，才能被测试与审计。 用反例说明忽略它时系统会怎样失败。
latency
latency必须映射为可观察状态、权限边界和可回放轨迹，才能被测试与审计。 把概念落到可以记录的指标或测试上。
实践任务
建立 30 条回归任务集
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：定义约束与成功指标，只保留回答核心问题所需的最小组件。
- 验证：使用轨迹回放、schema 校验、权限测试与回归任务集；保存参数、随机种子与原始结果。
- 迁移：换一个工具、失败模式或权限边界后仍保持可控，说明原结论是否仍成立。