biscuitの博客

贝叶斯定理 (Bayes’ Theorem)#

设事件 $B$ 已经发生，需要评估哪个 事件 $A_i$ 最有可能导致 $B$ 的发生。贝叶斯定理提供了一个计算后验概率的公式:

• 先验概率：$P(A_i)$，表示在观察到事件 $B$ 之前对事件 $A_i$ 的信念。
• 似然函数：$P(B | A_i)$，表示在事件 $A_i$ 发生的条件下事件 $B$ 发生的概率。
• 后验概率：$P(A_i | B)$，表示在观察到事件 $B$ 之后对事件 $A_i$ 的信念。

后验 $\propto$ 似然 $\times$ 先验。后验概率与先验概率成正比，比例系数由似然函数决定。

有两种优化函数：

• 最大后验概率 (MAP)：$\hat{A} = \arg\max_{A_i} P(A_i | B)=\arg\max_{A_i}{P(B | A_i) P(A_i)}$
• 最大似然估计 (MLE)：$\hat{A} = \arg\max_{A_i} P(B | A_i)$

后验概率考虑了先验知识，而最大似然估计只关注数据本身的似然性。选择哪种方法取决于具体问题和可用的信息。

生成式模型和判别式模型#

生成式模型：建模 联合概率分布 $P(X, Y)$，可以通过 $P(Y | X) = \frac{P(X | Y) P(Y)}{P(X)}$ 来进行分类。

判别式模型：直接建模 条件概率分布 $P(Y | X)$，不关心特征的分布。

NOTE

生成式模型可以导出判别式模型，但判别式模型不能导出生成式模型。

判别式模型通常转化为：

• 最大似然
• 交叉熵最小化
• 本质是一个优化问题

从邮件分类的实际例子来看：

生成式模型-朴素贝叶斯分类-MAP#

TIP

贝叶斯分类器通过最大化后验概率 $P(C|X)$，利用贝叶斯公式将其转化为先验概率 $P(C)$ 与似然概率 $P(X|C)$ 的乘积；其中先验反映类别分布，似然反映类别条件下特征分布，在朴素贝叶斯中进一步假设特征条件独立，将联合概率分解为各特征概率的乘积。

给定属性（特征）$X = (x_1, x_2, ..., x_n)$，类别 $C={c_1, c_2, ..., c_k}$，我们想要计算 $P(C | X)$，即在给定特征 $X$ 的条件下类别 $C$ 的概率。

朴素：假设特征之间条件独立，即 $P(X | C) = \prod_{i=1}^n P(x_i | C)$。

对 $P(C | X)$ 应用贝叶斯定理：

在分类时，我们希望越准越好，也就是最大化 $P(C | X)$，由于 $P(X)$ 对所有类别都是常数，我们可以简化为：

这里面符号的语义

• $P(C)$：类别 $C$ 的先验概率。在没有看到任何数据之前，种类C的概率。

  在数据中体现为类别 $C$ 的频率。

• $P(X | C)$：在类别 $C$ 下特征 $X$ 的似然。

  如果种类是 $C$, 那么特征 $X$ 出现的概率。

• $P(C | X)$：在给定特征 $X$ 的条件下类别 $C$ 的后验概率。需要求解的目标。

• $P(X)$：特征 $X$ 的边缘概率。对所有类别的特征 $X$ 的概率进行求和。

  在分类时是常数，可以忽略。

1
        C
2
    /   |    \
3
  x1   x2 ... xn

判别式模型-二项逻辑回归-MLE#

判别式模型直接建模条件概率 $P(Y | X)$，不关心特征的分布。对于二分类问题，常用的模型是逻辑回归。

例如，$X\in \mathbb{R}^n$ 作为输入，$Y \in \{0, 1\}$ 作为输出，我们可以使用逻辑函数（sigmoid函数）将线性组合映射到概率空间：

TIP

这里sigmoid的指数显示的指出了 $w,b$，但是也可以用增广的输入 $X' = [X; 1]$ 和权重 $\theta = [w; b]$ 来表示，这样就不需要单独处理偏置项了。

这种表示下的 $\theta^T X'$ 和后文的 $w^T X + b$ 是等价的。

对于输入数据，格式为 $\{X^{(n)},Y^{(n)}\}_{n=1}^N$ ,右上角的 $(n)$ 表示第 $n$ 个样本。其中的 $X\in \mathbb{R}^n$ 是特征组成的向量，$Y = \{0, 1\}$ 是标签。我们可以通过最大化似然函数来训练模型：

这里 $Y^{(n)}$ 在幂指数的位置， $P(Y^{(n)} | X^{(n)})$ 是根据 $Y^{(n)}$ 的取值来选择 $\sigma(w^T X^{(n)} + b),(Y^{(n)}=1)$ 或 $1 - \sigma(w^T X^{(n)} + b),(Y^{(n)}=0)$，这样可以统一表示两种情况。

但是这依托是乘积不好优化，不妨转化为对数似然：

乘以 $(-\frac{1}{N})$ ，转化为最小化问题（这其实就是交叉熵损失函数）

问题来了，怎么解？

梯度下降：

关于梯度的计算：

TIP

sigmoid函数的导数 $\sigma'(z) = \sigma(z)(1 - \sigma(z))$，这是一个重要的性质，在计算梯度时会用到。

外面套一个log,求导 $(\log \sigma(z))' = \frac{\sigma'(z)}{\sigma(z)} = 1 - \sigma(z)$