biscuitの博客

几何直观#

有两个向量 $\mathbf{a}$ 和 $\mathbf{b}$。从 $\mathbf{b}$ 的终点向 $\mathbf{a}$ 所在的直线做一条垂线，垂足与原点之间的这段向量，就是 $\mathbf{b}$ 在 $\mathbf{a}$ 方向上的投影向量（记作 $\text{proj}_{\mathbf{a}} \mathbf{b}$）。

• 投影的长度（标量）：即 $\mathbf{b}$ 在 $\mathbf{a}$ 方向上的“影子”长度。

• 投影的性质：投影向量与被投向的向量 $\mathbf{a}$ 是共线的。

关于二维投影的计算#

TIP$$\begin{aligned} \langle \mathbf{a}, \mathbf{b} \rangle &= \mathbf{a} \cdot \mathbf{b} \\ &= a_1b_1 + a_2b_2 + \dots + a_nb_n \\ &= \mathbf{a}^T \mathbf{b}=\mathbf{b}^T \mathbf{a} \end{aligned}$$

投影的长度 $d$ 为：

根据点积定义 $\mathbf{a} \cdot \mathbf{b} = \|\mathbf{a}\| \|\mathbf{b}\| \cos \theta$，可以写出：

投影向量的方向和 $\mathbf{a}$ 一致，所以用长度 $d$ 乘以 $\mathbf{a}$ 的单位向量 $\frac{\mathbf{a}}{\|\mathbf{a}\|}$：

由于 $\|\mathbf{a}\|^2 = \mathbf{a}^T \mathbf{a}$ 且 $\mathbf{a} \cdot \mathbf{b} = \mathbf{a}^T \mathbf{b}$，我们可以重写公式：

这里 $P = \frac{\mathbf{a} \mathbf{a}^T}{\mathbf{a}^T \mathbf{a}}$ 被称为投影矩阵。

投影到子空间#

有一个 $k$ 维子空间 $W$，由 $k$ 个线性无关的向量 $\{\mathbf{w}_1, \mathbf{w}_2, \dots, \mathbf{w}_k\}$ 生成，记作 $A=[\mathbf{w}_1, \mathbf{w}_2, \dots, \mathbf{w}_k]$。对于任意向量 $\mathbf{b}$，我们想找到它在 $W$ 上的投影 $\text{proj}_W \mathbf{b}$。

也就是说，我们要找到 $W$ 中的一个向量 $\mathbf{p}=A\mathbf{x}$，使得 $\mathbf{p}$ 与 $\mathbf{b}$ 之间的距离最小：

这是关于变量 $\mathbf{x}$ 的无约束优化问题。通过求导并设为零，我们可以得到：

得到：（就是正规方程）因为 $A$ 的列向量线性无关，所以 $A^T A$ 可逆(是一个gram矩阵)：

所以：

投影矩阵为：

一些注意事项#

正交性：向量 $\mathbf{b}$ 与其投影向量之差 $(\mathbf{b} - \text{proj}_{\mathbf{a}} \mathbf{b})$ 必然与 $\mathbf{a}$ 正交（垂直）。这是线性代数中最重要的误差处理逻辑。

从优化角度看投影：如果想把向量投影到一个仿射空间，寻找平面内距离原始向量最近的点。这可以看作一个有约束的优化问题，用拉格朗日乘数法求解：

从结果看出，投影矩阵 $P =I - A^T (A A^T)^{-1} A$

单位向量简化：如果 $\mathbf{a}$ 是单位向量（长度为 1），那么公式直接简化为: