LESSON 6.7 · 验收 · 180 分钟

掌握门 6:两套部署、一份基准

掌握门 6:两套部署、一份基准:理解端侧与服务端方案对比,完成“提交延迟、吞吐、成本、质量与故障注入报告”。属于「让模型快而可靠地说话」学习阶段。

学完你应该能够

  1. 能不用术语堆砌,解释「掌握门 6:两套部署、一份基准」解决了什么问题。
  2. 能围绕 端侧与服务端方案对比 画出变量与因果关系。
  3. 能完成「提交延迟、吞吐、成本、质量与故障注入报告」,并用证据而不是感觉判断结果。

核心概念

端侧与服务端方案对比

端侧与服务端方案对比需要在固定质量与负载下比较延迟、吞吐、显存和成本,单独的速度数字没有决策意义。 先给它一个可操作的定义,并指出它解决的具体问题。

实践任务

提交延迟、吞吐、成本、质量与故障注入报告

  • 预测:在运行代码前,写下你预期的输出、趋势或失败位置。
  • 构建:闭卷解释核心机制,只保留回答核心问题所需的最小组件。
  • 验证:使用固定质量约束下测 p50/p95 延迟、吞吐、显存和成本;保存参数、随机种子与原始结果。
  • 迁移:改变并发、序列长度或硬件后重新选择缓存与批处理策略,说明原结论是否仍成立。

进入完整互动课程