LESSON 4.7 · 系统 · 170 分钟
并行训练：DP、TP、PP、FSDP
并行训练：DP、TP、PP、FSDP：理解通信拓扑、all-reduce、shard、bubble，完成“为不同集群选择并行策略”。属于「把训练变成系统」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「并行训练：DP、TP、PP、FSDP」解决了什么问题。
- 能围绕 通信拓扑、all-reduce、shard 画出变量与因果关系。
- 能完成「为不同集群选择并行策略」，并用证据而不是感觉判断结果。
核心概念
通信拓扑
通信拓扑必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 先给它一个可操作的定义，并指出它解决的具体问题。
all-reduce
all-reduce把计算、参数或序列分给多设备，同时引入通信成本。选择策略时要比较消息大小、链路带宽、同步频率和流水线空泡，而不是只看 GPU 数量。
shard
shard把计算、参数或序列分给多设备，同时引入通信成本。选择策略时要比较消息大小、链路带宽、同步频率和流水线空泡，而不是只看 GPU 数量。
bubble
bubble把计算、参数或序列分给多设备，同时引入通信成本。选择策略时要比较消息大小、链路带宽、同步频率和流水线空泡，而不是只看 GPU 数量。
实践任务
为不同集群选择并行策略
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：画出关键资源与队列，只保留回答核心问题所需的最小组件。
- 验证：使用吞吐剖析、消融实验、故障注入与 checkpoint 恢复；保存参数、随机种子与原始结果。
- 迁移：改变模型规模、GPU 拓扑或数据混合后重做预算，说明原结论是否仍成立。