biscuitの博客

方差 (Variance)#

在统计学中，方差衡量的是一组数据的离散程度。数学公式： $Var(X) = \frac{1}{n-1} \sum_{i=1}^{n} (x_i - \bar{x})^2$

PCA 中的直观理解： 方差越大，代表数据在这个方向上“铺得越开”。在降维时，我们最怕把原本分得很开的点压到一起（丢失区分度）。所以，PCA 的第一目标就是寻找方差最大的方向，因为那里保留了最原始、最丰富的信息。

协方差 (Covariance)#

如果方差是看一个维度自己，协方差就是看两个维度之间的“互动”。

数学本质： 如果 $X$ 变大时 $Y$ 也变大，协方差为正；反之为负；如果不相关，则接近 0。

PCA 中的直觉： 如果身高和体重的协方差很高，说明它们携带了大量重复信息。

协方差矩阵 (Covariance Matrix) 是一个表，记录了所有维度两两之间的相关性。PCA 的任务就是通过这个矩阵，找出哪些维度是冗余的，并把它们合并成互不相关的“新轴”。

特征值与特征向量：矩阵的“筋骨”#

这是线性代数最精华的部分。对于协方差矩阵 $\Sigma$：

特征向量 $\mathbf{v}$ (Direction)： 当协方差矩阵作用于向量 $\mathbf{v}$ 时，它只伸缩，不旋转。这意味着 $\mathbf{v}$ 指向的是数据分布中最自然、最核心的轴线。

在 PCA 中，这些向量就是我们寻找的“主成分方向”。特征值 $\lambda$ (Magnitude)： 它代表了数据在对应的特征向量方向上的离散程度（即方差的大小）。$\lambda$ 越大，说明这个方向越重要。

数学上的“分蛋糕”#

假设原始数据的协方差矩阵为 $\Sigma$，其维度为 $d \times d$。总方差就是该矩阵主对角线元素之和，也就是协方差矩阵的 迹 (Trace) 数学表达式为：

其中 $\sigma_{ii}^2$ 是原始坐标系中第 $i$ 个维度的方差。这代表了在没有任何旋转、压缩的情况下，系统总共包含的“能量”（波动）。

在 PCA 过程中，我们对协方差矩阵进行了特征分解，得到了 $d$ 个特征值：$\lambda_1, \lambda_2, \dots, \lambda_d$ 。这些特征值有一个神奇的性质：它们的总和 $\sum \lambda$ 等于原始数据在所有维度上的总方差。这在线性代数中是一个重要的定理：PCA 的本质是对协方差矩阵进行相似变换（对角化）。线性代数中有一个核心定理：矩阵在相似变换下，迹（Trace）保持不变。

数据的总能量（总方差）在旋转坐标轴的过程中并没有消失，只是被重新分配了。

第 $i$ 个主成分的方差解释率：

这就像是在算每个主成分分到了多少比例的“信息蛋糕”。

累计方差解释率：如果保留前 $k$ 个主成分，那么：

它是如何评价维数的？#

方差解释率是降维时的决策准则（决定砍掉多少维）

例如处理一个 10 维的数据，算完 PCA 后，发现各维度的解释率如下：

• PC1: 75%

• PC2: 15%

• PC3: 5%…

其余 7 维加起来才 5%

发现光是前两个轴（PC1 + PC2）就解释了 90% 的方差。这意味着如果把数据从 10 维压缩到 2 维，只损失了 10% 的“次要细节”，但换来了计算速度的大幅提升和数据的可视化（2D 图表谁都能看懂）。

两个用途：选择与去噪#

1. 确定 $k$ 值：不需要盲目猜测降到几维，而是设定一个阈值（比如 95%），然后让程序自动选择能达到这个比例的最少维数。

2. 去噪：最后那几个方差解释率极低的维度，通常被认为是噪声。砍掉它们不仅是降维，更是提纯。