biscuitの博客

第一种方法：inner products of the rows with $\mathbf{x}$#

（线性变换角度）

将矩阵$A$的行向量与向量$\mathbf{x}$进行点积运算，得到结果向量的每个元素。这种方法强调了矩阵的行空间。得到的叫做值域空间（range space），也就是线性映射的输出空间。

第二种方法 : combination of the columns of $A$ with the components of $\mathbf{x}$#

（线性组合角度）

这种视角下，$A\mathbf{x}$ 就是矩阵 $A$ 所有列向量的线性组合。而对于$\mathbf{x}$，他的每一个分量—— $A$ 中列向量的权重——可以取到任意实数，因此：

矩阵的所有列向量的所有线性组合所构成的向量空间称为矩阵的列空间（column space），记作 $C(A)$。也就是“The combinations of the columns fill out the column space of А.”

NOTE

注意这里定义列空间的时候并没有强调矩阵 $A$ 列向量的相关性，因为无论列向量是否相关，列空间都是由这些列向量的线性组合构成的。

什么是秩为1的矩阵？#

一个列向量 $\mathbf{u}$ 乘以一个行向量 $\mathbf{v}^T$，结果是一个矩阵。例如：

这个矩阵的每一行都是 $\mathbf{v}^T$ 的倍数，每一列都是 $\mathbf{u}$ 的倍数。它的秩必然是 1（因为它只有一维独立信息）。

AB = Sum of Rank One Matrices#

假设 $A$ 的列向量为 $\mathbf{a}_1, \mathbf{a}_2, \dots, \mathbf{a}_n$，而 $B$ 的行向量为 $\mathbf{b}_1^T, \mathbf{b}_2^T, \dots, \mathbf{b}_n^T$ 即两个矩阵$A(m\times n)$和$B(n\times p)$，AB乘积是多个秩为1的矩阵的和。下图的 $*$ 表示转置：

这个视角的好处在于能看见整个矩阵是由哪些 基础分量（层） 堆叠出来的

例如在数据压缩中，我们可以通过保留前几个秩为1的矩阵来近似原始矩阵，这就是SVD（奇异值分解）的核心思想。

在奇异值分解（SVD）中，一个复杂的矩阵 $A$ 被分解为：

每一项 $\mathbf{u}_i\mathbf{v}_i^T$ 都是一个秩一矩阵，代表了一层“特征”。$\sigma_i$ 是权重（奇异值）。如果想压缩一张图片，你只需要保留权重最大的前几个秩一矩阵，剩下的扔掉。图片依然清晰，但占用的空间小。