biscuitの博客

情况1：$\Sigma_i = \sigma^2 I,P(\omega_i)=\frac{1}{c}$#

假设每一类数据在特征空间中都长成一个正圆球体（二维是圆，三维是球），并且所有类别的球体大小（半径）完全一样。

此分类器称为距离分类器，判别函数可以用待识模式 $\mathbf{x}$ 与类别均值 $\mu_i$ 之间的距离表示 $g_i(\mathbf{x}) = -d(\mathbf{x}, \mu_i)$，最大化判别函数等于最小化距离，因此也称为最小距离分类器。

决策边界：两个球心连线的垂直平分线（超平面）。

情况2：$\Sigma_i = \Sigma$#

假设每一类数据都长成椭球体，而且所有类别的椭球体形状、大小、朝向完全一致（比如都是东北-西南方向拉长的椭球），只是它们中心点（均值μ的位置不同。

里面的纯二次 $-\frac{1}{2} \mathbf{x}^T \Sigma^{-1} \mathbf{x}$ 对于所有类别相同，可以视为常数的一部分忽略。进一步展开：

简化成线性形式，这就是 线性判别分析（LDA）。

决策边界：依旧是超平面，但不再是两个球心连线的垂直平分线了，而是根据 $\Sigma$ 的形状调整过的超平面。

情况3：$\Sigma_i$ 不同#

彻底放飞。每个类别的数据可以有自己的形状、大小和朝向。A类可以是细长的椭球，B类可以是扁平的圆盘，旋转的角度也可以完全不同。

和上面的情况2一样，纯二次项 $-\frac{1}{2} \mathbf{x}^T \Sigma_i^{-1} \mathbf{x}$ 不能视为常数了，因为 $\Sigma_i$ 不同了。忽略常数展开后：

决策边界：不再是超平面了，而是二次曲面（比如椭圆、双曲线等）。因此也称为二次判别分析（QDA）。

问题#

QDA 每类需要估计一个 $d \times d$ 的协方差矩阵 $\Sigma_i$，即 $\frac{d(d+1)}{2}$ 个参数。当 $d$ 较大而样本数不足时，$\hat{\Sigma}_i$ 可能奇异或不稳定。

思路：减少需要估计的参数数量。一个极端做法是假设各维特征条件独立——协方差矩阵退化为对角矩阵，每类只需 $d$ 个方差参数。

朴素贝叶斯分类器#

TIP

参数估计里面的独立性假设是针对数据集中的特征向量之间而言的，而朴素贝叶斯分类器的独立性假设是针对具体特征向量的各个维度之间而言的。

假设特征向量的各个维度之间条件独立，即 $p(\mathbf{x}|\omega_i) = \prod_{j=1}^d p(x_j|\omega_i)$ （第i类，第j维），每个特征单独建模为一维高斯分布：

特征向量的类条件概率密度函数为：

判别函数为：

小结：协方差假设 → 分类器对照#

高斯判别分析的不同假设直接决定了决策面的形状和可训练参数的数量：

趋势：对协方差限制越强，参数越少、越不容易过拟合，但模型表达能力也越低。从 $\Sigma_i = \sigma^2 I$ 一路放宽到任意 $\Sigma_i$，就是在 偏差与方差之间做权衡。