LESSON 0.3 · 理论 · 120 分钟
线性代数只学模型真正会用的
线性代数只学模型真正会用的：理解向量空间、矩阵乘法、基变换、特征值与 SVD 直觉，完成“用 NumPy 写线性层并追踪所有 shape”。属于「进入模型之前」学习阶段。
学完你应该能够
- 能不用术语堆砌，解释「线性代数只学模型真正会用的」解决了什么问题。
- 能围绕 向量空间、矩阵乘法、基变换 画出变量与因果关系。
- 能完成「用 NumPy 写线性层并追踪所有 shape」，并用证据而不是感觉判断结果。
核心概念
向量空间
向量空间用少数主方向描述线性变换。它帮助理解低秩近似、信息压缩与 LoRA：并非每个参数方向都同样重要。
矩阵乘法
矩阵乘法把一组输入方向重新混合为输出方向。对神经网络而言，每个输出维都是输入维的加权和；批次维不参与混合，因此必须能逐维说清权重矩阵的含义。
基变换
基变换把一组输入方向重新混合为输出方向。对神经网络而言，每个输出维都是输入维的加权和；批次维不参与混合，因此必须能逐维说清权重矩阵的含义。
特征值与 SVD 直觉
特征值与 SVD 直觉用少数主方向描述线性变换。它帮助理解低秩近似、信息压缩与 LoRA：并非每个参数方向都同样重要。
实践任务
用 NumPy 写线性层并追踪所有 shape
- 预测：在运行代码前，写下你预期的输出、趋势或失败位置。
- 构建：从具体反例建立动机，只保留回答核心问题所需的最小组件。
- 验证：使用手算结果、NumPy/PyTorch 对拍与边界输入；保存参数、随机种子与原始结果。
- 迁移：换一个 shape、dtype 或数据分布后重新预测结果，说明原结论是否仍成立。