biscuitの博客

单个样本 $\mathbf{x}$ 的条件错误率（用于决策）#

• 多分类判别 $\mathbf{x}$ 为 $\hat{\omega}$ 的条件错误率：

• 二分类：

整体数据集的总体错误率（用于评估）#

从联合概率密度的视角来看，可以用积分表示：设 $\hat{\mathbf{x}}$ 是决策边界，当特征向量 $\mathbf{x}$ 实际为 $\omega_1$ 时，错误率为

$P(error_2)=\int_{R_2} p( \mathbf{x}|\omega_1 )P(\omega_1) d\mathbf{x}$

当 $\mathbf{x}$ 实际为 $\omega_2$ 时，错误率为

$P(error_1 )=\int_{R_1} p( \mathbf{x}|\omega_2 ) P(\omega_2) d\mathbf{x}$。

整体：$P(mistake) = P(error_1) + P(error_2)$

图解#

最小错误率决策准则#

对于一个待分类样本 $\mathbf{x}$，我们计算每个类别 $\omega_j$ 的后验概率 $P(\omega_j | \mathbf{x})$，然后选择后验概率最大的类别 $\omega_i$ 作为预测结果：

最小错误率判别函数#

对于每个类别 $\omega_j$，定义判别函数 $g_j(\mathbf{x})$：

或对数形式：

对于两类问题(1)#

两类问题的等价形式：似然比(或者他们的对数形式)和阈值比大小

决策边界 $\mathbf{x}$ 由 $\dfrac{p(\mathbf{x} | \omega_1) }{p(\mathbf{x} | \omega_2) } = \dfrac{P(\omega_2)}{P(\omega_1)}$ 定义。

单个样本 $\mathbf{x}$ 的条件风险 （用于决策）#

将真实类别 $\omega_i$ 判断成 $\omega_j$ 的损失定义为 $\lambda_{ij}$，则对于一个待分类样本 $\mathbf{x}$，我们计算每个类别 $\omega_j$ 的期望风险 $R(\omega_j | \mathbf{x})$ ，是 $\mathbf{x}$ 属于 $\omega_i$ 的条件下，将 $\mathbf{x}$ 误分类为 $\omega_j$ 的期望损失。

TIP

例如有正常人(w1)和病人(w2)两类，误将病人判断为正常人的风险就是 $R(\omega_1 | \mathbf{x}) = \lambda_{21} P(\omega_2 | \mathbf{x})$，误将正常人判断为病人的风险就是 $R(\omega_2 | \mathbf{x}) = \lambda_{12} P(\omega_1 | \mathbf{x})$。

整体数据集的总体风险（用于评估）#

整个特征空间上，总体风险是对所有样本的条件风险求期望：

其中 $\hat{\omega}(\mathbf{x})$ 是决策准则。

最小风险决策准则#

对于一个待分类样本 $\mathbf{x}$，计算所有类别 $\omega_j$ 的期望风险 $R(\omega_j | \mathbf{x})$，然后选择风险最小的类别作为预测结果：

最小风险判别函数#

对于每个类别 $\omega_j$，定义判别函数 $g_j(\mathbf{x})$ 为期望风险的负数，把最小风险问题转化为最大判别函数问题:

对于两类问题(2)#

定义决策表，里面的元素 $\lambda_{ij}$ 表示将真实类别 $\omega_i$ 判断成 $\omega_j$ 的损失。对于二分类问题，决策表可以简化为：

误分类只包括 $\lambda_{12}$ 和 $\lambda_{21}$

对于一个待分类样本 $\mathbf{x}$，计算误分类的期望风险：

对应的判别函数：

判别准则：

当使用0-1损失函数时，$\lambda_{ij} = 0$ if $i=j$ else 1，此时最小风险准则退化为最小错误率准则。

决策边界 $\mathbf{x}$ 由 $\dfrac{p(\mathbf{x} | \omega_1) }{p(\mathbf{x} | \omega_2) } = \dfrac{P(\omega_2)\lambda_{12}}{P(\omega_1)\lambda_{21}}$ 定义。

单个样本 $\mathbf{x}$ 的似然比检验（用于决策）#

与最小错误率直接使用后验概率不同，N-P 准则不依赖先验，而是直接构造似然比

整体数据集的错误率约束（用于评估）#

二分类问题中，第一类错误率（$\epsilon_1$ , $\omega_2$ 被误判为 $\omega_1$）不超过某个阈值 $\alpha$，第二类错误率（$\epsilon_2$ , $\omega_1$ 被误判为 $\omega_2$）。定义两类错误率：

• 决策区域： $R_1$ 是将 $\mathbf{x}$ 分类为 $\omega_1$ 的区域，$R_2$ 是将 $\mathbf{x}$ 分类为 $\omega_2$ 的区域。
• 约束条件：固定 $\epsilon_2 = \alpha$，最小化 $\epsilon_1$。

聂曼-皮尔逊决策准则#

似然比检验：大于某个阈值 $\lambda$ 则判为 $\omega_1$，否则判为 $\omega_2$

聂曼-皮尔逊判别函数#

固定 $\epsilon_2 = \alpha$，最小化 $\epsilon_1$。用拉格朗日乘子法求解，引入拉格朗日乘子 $\mu$：

推导：

等价于对每个 $\mathbf{x}$ 逐点最小化被积函数：

• 若 $p(\mathbf{x} | \omega_2) P(\omega_2) - \mu p(\mathbf{x} | \omega_1) P(\omega_1) > 0$，说明把 $\mathbf{x}$ 分入 $R_1$ 产生的代价更大，因此 $\mathbf{x}$ 应属于 $R_2$
• 若为负，则 $\mathbf{x}$ 应属于 $R_1$

即：

移项：

确定判别阈值 $\mu$:

先用 (*) 定义决策区域 $R_2$ ,然后用等式 $\int_{R_2} p(\mathbf{x} | \omega_1) P(\omega_1) d\mathbf{x} = \alpha$ 来求解 $\mu$。

TIP

推导过程中，先验是固定的，可以最后算。

条件错误率与总体错误率#

对于任意分类器 $\hat{\omega}(\mathbf{x})$，在样本 $\mathbf{x}$ 处的条件错误率为：

总体错误率是对所有 $\mathbf{x}$ 积分：

最优性证明#

贝叶斯分类器选择后验概率最大的类别 $\hat{\omega}^*(\mathbf{x}) = \arg\max_j P(\omega_j \mid \mathbf{x})$，因此：

代入总体错误率公式，不等式反向（减去更大的数得更小的值）：

即 任何分类器的错误率 $\geq$ 贝叶斯错误率，等号仅当分类器 $\hat{\omega}(\mathbf{x})$ 每点都选择后验最大的类。

另一种等价形式#

用 §1 的积分区域语言，最小错误率分类器选择：

贝叶斯错误率就是在这个最优分界下的积分值（即 §1 中 $P(mistake)$ 在最优决策 $R_1^*, R_2^*$ 下的取值）：

或等价地写成后验的 min 形式（更紧凑）：

意义#

贝叶斯错误率是分类问题的”天花板”——它反映数据本身的重叠程度。如果两类在特征空间上完全可分（分布不重叠），贝叶斯错误率为 0；如果完全不可分（分布完全重合），贝叶斯错误率等于 $\min(P(\omega_1), P(\omega_2))$（瞎猜的水平）。实际分类器的错误率越接近这个值，说明模型越充分挖掘了数据的信息。

两种建模路径#

直观对比#

以两类问题为例：

• 生成式先回答”$\omega_1$ 的数据大概长什么样？$\omega_2$ 呢？“，再根据新样本更像哪个来分类。
• 判别式直接回答”分界线在哪？“，不在意外围数据长什么样，只关心边界附近的样本。

本篇定位#

本篇（Bayes）是生成式的典范——从概率密度出发，通过贝叶斯公式得到决策规则。接下来（线性分类器）将转向判别式路径，直接从数据学习决策边界，不再显式建模概率密度。两种范式各有所长，理解它们的差异是理解整个模式识别学科的关键视角。