LESSON 4.2 · 工程 · 140 分钟
数据工程：采集、清洗、去重与混合
数据工程：采集、清洗、去重与混合：理解quality filtering、MinHash、contamination、mixture，完成“构建 1GB 可追溯小语料”。属于「把训练变成系统」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「数据工程：采集、清洗、去重与混合」解决了什么问题。
- 能围绕 quality filtering、MinHash、contamination 画出变量与因果关系。
- 能完成「构建 1GB 可追溯小语料」，并用证据而不是感觉判断结果。
核心概念
quality filtering
quality filtering必须用资源、吞吐、数值或数据指标验证；没有基线和故障记录的“优化”无法复现。 先给它一个可操作的定义，并指出它解决的具体问题。
MinHash
MinHash决定模型反复看到什么。近重复会放大样本权重，评测污染会伪造能力；数据混合比例本质上也是一种训练目标，需要版本化和可追溯。
contamination
contamination决定模型反复看到什么。近重复会放大样本权重，评测污染会伪造能力；数据混合比例本质上也是一种训练目标，需要版本化和可追溯。
mixture
mixture决定模型反复看到什么。近重复会放大样本权重，评测污染会伪造能力；数据混合比例本质上也是一种训练目标，需要版本化和可追溯。
实践任务
构建 1GB 可追溯小语料
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：定义约束与成功指标，只保留回答核心问题所需的最小组件。
- 验证：使用吞吐剖析、消融实验、故障注入与 checkpoint 恢复；保存参数、随机种子与原始结果。
- 迁移：改变模型规模、GPU 拓扑或数据混合后重做预算，说明原结论是否仍成立。