biscuitの博客

用生成式模型（朴素贝叶斯）来分类邮件#

统计：

• 先验：$P(\text{垃圾邮件})$ 和 $P(\text{正常邮件})$，可以通过历史数据中垃圾邮件和正常邮件的比例来估计。
• 似然：$P(\text{邮件内容} | \text{垃圾邮件})$ 和 $P(\text{邮件内容} | \text{正常邮件})$，可以通过分析邮件内容中出现的词汇来估计。

计算：

• 后验：$P(\text{垃圾邮件} | \text{邮件内容})$ 和 $P(\text{正常邮件} | \text{邮件内容})$，通过贝叶斯定理计算，选择概率较大的类别作为分类结果。

能解释这个被分类成垃圾邮件的邮件为什么被分类成垃圾邮件

用判别式模型（逻辑回归）来分类邮件#

直接假设：存在一个函数，可以把特征 x （邮件内容）映射到类别概率。一个比较常见的模型是逻辑回归。后文会讲到

问题建模与数据准备#

• 定义类别：确定分类任务有 $c$ 个类别 $\omega_1, \omega_2, \dots, \omega_c$。

• 特征提取：确定描述样本的特征向量 $\mathbf{x}$。

• 划分数据集：获取有标签的训练集 $D = (\mathbf{x}_1, y_1), \dots, (\mathbf{x}_n, y_n)$。

概率密度估计方法#

如何获得 $p(\mathbf{x}|\omega_i)$ 和 $P(\omega_i)$ ，重点关注 $p(\mathbf{x}|\omega_i)$。

• 方法A（参数法）：假设已知 $p(\mathbf{x}|\omega_i)$ 的参数形式（如高斯分布、伯努利分布）。唯一未知的是参数 $\theta_i$（如 $\mu, \Sigma$）。
• 方法B（非参数法）：不假设任何分布形式，直接从数据中“拼凑”出密度函数。

估计类条件概率密度 $p(\mathbf{x}|\omega_i)$（训练）#

参数估计（如高斯分布） 的假设前提

1. 假设类条件概率的分布长这样：$P(\mathbf{x}|\omega_i) = P(\mathbf{x}|\omega_i;\theta_i)$。
2. 独立同分布：同一类别的样本是独立同分布的随机变量。

估计先验概率 $P(\omega_i)$#

这一步最简单。在没有特殊知识的情况下：

• 频率计数法：$P(\omega_i) \approx \frac{N_i}{N}$，即训练集中第 $i$ 类样本占比。
• 均匀先验：假设所有类发生概率相等，$P(\omega_i) = \frac{1}{c}$

确定决策准则，设定阈值$\theta$#

这一步决定了怎么利用估计出的概率来决策。

• 最小错误率准则：$\hat{\omega} = \arg\max_i P(\omega_i | \mathbf{x})$
• 最小风险准则：引入损失函数 $\lambda_{ij}$，$\hat{\omega} = \arg\min_j \sum_i \lambda_{ij} P(\omega_i | \mathbf{x})$（例如，将癌症误判为健康的风险要远大于反过来）。
• 聂曼-皮尔逊准则：固定一类错误率，最小化另一类错误率

构建判别函数g(x)，决策边界x#

判别函数： $g(\mathbf{x})$，例如 $\ln \frac{P(\mathbf{x}|\mathbf{\omega}_1)}{P(\mathbf{x}|\mathbf{\omega}_2)}$

应用决策准则(应用阈值 $\theta$ )：$g(x)\gtrless\theta, x\quad \text{assign to}\quad {\omega_1 \atop \omega_2}$

决策边界：$g(\mathbf{\hat{x}}) = \theta$ 产生一个边界 $\mathbf{\hat{x}}$，将特征空间划分为不同的决策区域。

• 对于最小错误率准则，等价于比较 $\frac{p(\mathbf{x}|\omega_1)}{p(\mathbf{x}|\omega_2)} > \frac{P(\omega_2)}{P(\omega_1)}$。
• 化简后，边界是一个超平面（LDA）或者二次曲面（QDA），或者是一个由样本点刻画的复杂非线性区域（k-NN / Parzen）。

模型评估（计算总错误率）#

在测试集上评估。

• 错误率公式：正如我们之前详细讨论的，真实总体错误率必须是联合概率的积分： $$P(\text{error}) = \int_{R_2} p(\mathbf{x}|\omega_1)P(\omega_1) d\mathbf{x} + \int_{R_1} p(\mathbf{x}|\omega_2)P(\omega_2) d\mathbf{x}$$

输出部署#

对一个新的无标签样本 $\mathbf{x}_{\text{new}}$，调用构建的判别函数，直接输出 $\hat{\omega}$。

• LDA = (参数法 ML) + (协方差相等假设) + (最小错误率准则)。
• 朴素贝叶斯 = (参数法 ML) + (特征独立性假设) + (最小错误率准则)。
• 高斯过程 = (完全贝叶斯估计) + (最小错误率准则)。
• k-NN = (非参数估计 k近邻) + (最小错误率准则)（无需显式建模密度函数）。
• Parzen窗分类器 = (非参数估计 Parzen窗) + (最小错误率准则)。
• 图像复原 = (参数法 MAP) + (拉普拉斯先验) + (最小化均方误差/风险)。

朴素贝叶斯：多项式MNB#

• MNB的特征向量：$\mathbf{x} = (x_1, x_2, ..., x_n)$，如文本分类中，$x_i$ 是一个文档样本里，词表 V 中第 $i$ 个词的词频。

其中 $N_{i\omega}$ 是在类别 $\mathbf{\omega}$ 下特征 $x_i$ 出现的次数，$N_\omega$ 是在类别 $\mathbf{\omega}$ 下所有特征出现的总次数，$\alpha=1$ 是拉普拉斯平滑参数，$D$ 是特征空间的维度(特征数量或词表大小)。

决策时，$x_i$ 在右上角作为幂指数。

定义词表：$apple, banana, orange, cucumber, cabbage$，特征空间维度 $D=5$。

特征向量（id作为下标）

取前四个文档作为训练集，计算先验概率和类条件概率：

先验概率：$P(\text{水果}) = \frac{3}{4}, P(\text{非水果}) = \frac{1}{4}$

类条件概率：

朴素贝叶斯：伯努利BNB#

条件概率 $P(x_i | \mathbf{\omega})$ 是一个伯努利分布：

这里 $N_{i\omega}$ 是在类别 $\mathbf{\omega}$ 下特征 $x_i$ 出现的 文档数量，$N_\omega$ 是在类别 $\mathbf{\omega}$ 下的 文档总数，$\alpha=1$ 是拉普拉斯平滑参数。

• 在伯努利贝叶斯分类器中， 只关注是否出现，不关注频率

朴素贝叶斯：高斯GNB#

假设每个单独的特征 $x_i\in \mathbf{x}$ 的条件概率 $P(x_i | \mathbf{\omega})$ 是一个高斯分布 $\mathcal{N}(\mu_{i\omega}, \sigma^2_{i\omega})$：

其中 $\mu_{i\omega}$ 和 $\sigma_{i\omega}$ 是在类别 $\mathbf{\omega}$ 下特征 $x_i$ 的均值和方差。需要估计。

补充：图模型#

朴素贝叶斯分类器本质上就是一个非常简单的概率图模型（贝叶斯网络）

结构如下：

node: 特征 $x_i$ 和类别 $\mathbf{\omega}$ 都是节点。

edge: $\mathbf{\omega} \rightarrow x_i$，表示类别 $\mathbf{\omega}$ 影响特征 $x_i$ 的生成。特征之间没有边，表示条件独立。

1
        w
2
    /   |    \
3
  x1   x2 ... xn

此时，联合概率分布可以表示为: