LESSON 6.6 · 工程 · 120 分钟
服务可靠性：限流、缓存、降级与观测
服务可靠性：限流、缓存、降级与观测：理解SLO、queue、backpressure、prefix cache、tracing，完成“为 100 QPS 设计容量方案”。属于「让模型快而可靠地说话」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「服务可靠性：限流、缓存、降级与观测」解决了什么问题。
- 能围绕 SLO、queue、backpressure 画出变量与因果关系。
- 能完成「为 100 QPS 设计容量方案」，并用证据而不是感觉判断结果。
核心概念
SLO
SLO把模型服务从“能响应”提升到“可承诺”。队列长度是过载的早期信号；背压、限流和降级要在资源耗尽前触发，并通过 tracing 定位尾延迟。
queue
queue把模型服务从“能响应”提升到“可承诺”。队列长度是过载的早期信号；背压、限流和降级要在资源耗尽前触发，并通过 tracing 定位尾延迟。
backpressure
backpressure把模型服务从“能响应”提升到“可承诺”。队列长度是过载的早期信号；背压、限流和降级要在资源耗尽前触发，并通过 tracing 定位尾延迟。
prefix cache
prefix cache需要在固定质量与负载下比较延迟、吞吐、显存和成本，单独的速度数字没有决策意义。 用反例说明忽略它时系统会怎样失败。
tracing
tracing把模型服务从“能响应”提升到“可承诺”。队列长度是过载的早期信号；背压、限流和降级要在资源耗尽前触发，并通过 tracing 定位尾延迟。
实践任务
为 100 QPS 设计容量方案
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：定义约束与成功指标，只保留回答核心问题所需的最小组件。
- 验证：使用固定质量约束下测 p50/p95 延迟、吞吐、显存和成本；保存参数、随机种子与原始结果。
- 迁移：改变并发、序列长度或硬件后重新选择缓存与批处理策略，说明原结论是否仍成立。