biscuitの博客

3个散布矩阵#

所有准则都建立在以下三个散布矩阵（Scatter Matrices）之上

$\boldsymbol{\mu}_j$ 是类别 $C_j$ 的均值，总共有$C$个类别，$\boldsymbol{\mu}$ 是总体均值，$n_j$ 是类别 $C_j$ 的样本数，$n$ 是总样本数。

• 类内散布矩阵$S_w$：衡量同一类别内部样本的聚集程度。

  $$S_W^j =\frac{1}{n_j}\sum_{\mathbf{x} \in C_j} (\mathbf{x} - \boldsymbol{\mu}_j)(\mathbf{x} - \boldsymbol{\mu}_j)^T\\ S_w = \sum_{j=1}^{C}\frac{n_j}{n}S_W^j=\frac{1}{n}\sum_{j=1}^{C} \sum_{\mathbf{x} \in C_j} (\mathbf{x} - \boldsymbol{\mu}_j)(\mathbf{x} - \boldsymbol{\mu}_j)^T$$

• 类间散布矩阵$S_b$：衡量不同类别中心之间的分散程度。

  $$S_b = \frac{1}{n}\sum_{j=1}^{C} n_j (\boldsymbol{\mu}_j - \boldsymbol{\mu})(\boldsymbol{\mu}_j - \boldsymbol{\mu})^T$$

• 总体散布矩阵$S_t$：衡量所有样本的总体分散程度。

  $$S_t = S_w + S_b = \frac{1}{n}\sum_{j=1}^{C} \sum_{\mathbf{x} \in C_j} (\mathbf{x} - \boldsymbol{\mu})(\mathbf{x} - \boldsymbol{\mu})^T$$

TIP

分母上带n是标准写法，带n-1是无偏估计。对于特征选择来说，分母的常数因子不影响结果，所以不必纠结。

四个类别可分性判据#

衡量 特征子集 好坏的 4个公式（$J_1 \sim J_4$）。判据值越大，代表该特征子集区分能力越强：

基于迹（Trace）的准则。衡量类间散布与类内散布在所有方向上的平均比值。其中 $\lambda_i$ 是 $S_w^{-1}S_b$ 的特征值，

迹的比值。直接看类间总离散度与类内总离散度的比值，物理直观（类间大、类内小）。

基于行列式（Determinant）的准则。行列式对应散布 体积的平方，衡量类间散布椭球体积与类内散布椭球体积之比。 关注散布的整体形状和体积，而非平均程度。

总体散布与类内散布行列式之比。因为$S_t = S_w + S_b$，该指标也间接反映类间差异。

TIP

对于特征提取，类内距离准则$J_W$ 和类间距离准则$J_B$ 作为最朴素的可分性模型：

• $J_W = \sum_{j=1}^{k} \sum_{\mathbf{x} \in C_j} \|\mathbf{x} - \boldsymbol{\mu}_j\|^2$（越小越好）
• $J_B = \sum_{j=1}^{k} n_j \|\boldsymbol{\mu}_j - \boldsymbol{\mu}\|^2$（越大越好）

特征选择 使用的是$J_1 \sim J_4$（基于矩阵的全局判据），而$J_W/J_B$更多用于解释 LDA/FDA（特征提取） 的可分性思想。

用fisher score（$J_2$）来评估单变量特征#

条件：

1. 数据分布：特征数据近似服从高斯（正态）分布
2. 关系类型：特征与类别之间是线性关系（即类别均值差异明显，钟形曲线分的开）。
3. 特征类型：通常用于连续型数值特征。

公式定义为“类间距离的平方”与“类内离散度之和”的比值：

针对第$k$个特征再声明一下符号：

• 类别总数：$C$，类别$c$的样本数：$n_c$，
• 所有特征向量在第 $k$ 维的均值：$\boldsymbol{\mu}_{k}$，
• 第 $c$ 类在第 $k$ 维的类内均值：$\boldsymbol{\mu}_{c,k}$，
• 第 $c$ 类在第 $k$ 维的类内离散度：$\sigma_{c,k}^2=\sum_{\mathbf{x}\in C_c} (x_k - \boldsymbol{\mu}_{c,k})^2$

对于两类问题，Fisher Score可以简化为：

从可分性准则的角度来看，仅取第k 维数据计算得到的 1×1 散布矩阵（此时迹就是它本身）。

用互信息（Mutual Information）来评估单变量特征#

条件：

1. 数据分布：不知道或不服从正态分布（如均匀分布、双峰分布、长尾分布）。
2. 关系类型：存在非线性关系（比如课件例子：均值一样，但分布形状完全不同）。
3. 特征类型：既可用于连续型，也可用于离散型/文本型（比如词频）。

回顾一下定义：

互信息量：

互信息：

这里就是求每个特征 $x_k$ 与类别标签 $y$ 之间的互信息 $I(x_k; y)$，然后按互信息值从大到小排序，选择前m个特征。

基于稀疏正则化（L1 正则化 / Lasso）#

目标函数加上一个 $L_1$ 正则化项（Lasso）

给权重加 L1 惩罚，在贝叶斯理论中等价于假设权重服从拉普拉斯先验分布。这种分布的特点就是峰值在 0 处特别尖锐，所以最大后验估计出来的权重极容易正好落在 0 上。

基于 SVM 的递归特征消除（SVM-RFE）#

算法流程（三步循环）：

1. 训练：用当前所有的特征训练一个 SVM 分类器。

2. 排序：计算每个特征的权重 $w_i$​（SVM 超平面的系数），权重绝对值越小，说明这个特征对分类决策边界的影响越微弱。

3. 消除：删掉权重最小的那个（或那一批）特征。

4. 重复：用剩下的特征重新训练 SVM，再次删除，直到特征数达标。