biscuitの博客

定义#

对于任何 $m \times n$ 的矩阵 $\mathbf{A}$，都可以分解为：

• $\mathbf{V}$ (右奇异向量)：输入空间的一组标准正交基， $n \times n$ 的正交矩阵，是 $\mathbf{A}^T\mathbf{A}$ 的特征向量矩阵归一化得到，定义了输入空间里对输入数据的“旋转”。
• $\mathbf{\Sigma}$ (奇异值)：和矩阵 $A$ 同型，对角线上就是奇异值。对角线上元素 $\sigma_i$ 是 $\mathbf{A}^T\mathbf{A}$ 特征值的平方根，按从大到小排列，对应在 $\mathbf{V}$ 定义的那些方向上，空间被拉伸了多少倍。
• $\mathbf{U}$ (左奇异向量)：输出空间的一组标准正交基，$m \times m$ 的正交矩阵，是 $\mathbf{A}\mathbf{A}^T$ 的特征向量矩阵归一化得到，把拉伸后的数据映射到输出空间。

NOTE

矩阵 $A$ 的 $n$ 个特征值 $\lambda_1, \lambda_2, \dots, \lambda_n$ 及其对应的特征向量 $\mathbf{v}_1, \mathbf{v}_2, \dots, \mathbf{v}_n$，那么把这些向量按列排在一起构成的矩阵 $P$，就是特征向量矩阵

TIP

如果 $m > n$（样本数远大于特征数），$\Sigma$ 矩阵的下半部分全是 $0$。乘法计算时，这些 $0$ 会抹杀掉 $U$ 矩阵的后 $m-n$ 列。因此，我们可以只取 $U$ 的前 $n$ 列，得到一个 $m \times n$ 的矩阵 $\tilde{U}$，这样就能保持矩阵乘法的正确性，同时节省计算资源。

计算方法#

1. 计算 $\mathbf{A}^T\mathbf{A}$ 或$\mathbf{A}\mathbf{A}^T$。然后获得它们的特征值和特征向量。

2. 特征值的平方根就是奇异值 $\sigma_i$，得到矩阵 $\mathbf{\Sigma}$。

3. $\mathbf{V}$ 的列向量就是 $\mathbf{A}^T\mathbf{A}$ 的特征向量归一化

4. 通过 $\mathbf{U} = \mathbf{A} \mathbf{V} \mathbf{\Sigma}^{-1}$ 计算 $\mathbf{U}$ 的列向量。

注意通过一个来推另一个，因为uv之间有符号关系。（-u,-v也成立，但不能构造svd分解）