biscuitの博客

基本概念#

在进入具体方法之前，统一几个术语：

本章沿用 Bayes 章的符号约定：$\mathbf{x}$ 是加粗的特征向量，$\omega_j$ 是第 $j$ 个类别，$P(\cdot)$ 表示概率。分类器统一表示为：

多类决策准则统一为 $\hat{\omega} = \arg\max_j g_j(\mathbf{x})$，不同方法的不同之处在于如何训练得到 $\mathbf{w}_j$ 和 $b_j$。

一对多（One-vs-Rest, OvR）#

对每个类别 $\omega_k$ 训练一个二分类器 $g_k(\mathbf{x})$，将该类视为正类（$+1$），其余所有类视为负类（$-1$）。总共训练 $C$ 个分类器。

决策准则：计算所有 $g_k(\mathbf{x})$，若存在唯一 $k$ 使得 $g_k(\mathbf{x}) > 0$ 且所有其他 $g_j(\mathbf{x}) < 0$，则判为 $\omega_k$。若多个分类器输出正类或全部输出负类，可设拒识。

实用变体：用 $\hat{\omega} = \arg\max_k g_k(\mathbf{x})$ 替代硬阈值，此时 OvR 退化为一个直接的多类决策。但这个做法要求不同分类器的输出值可比——逻辑回归和 SVM 的输出尺度不同，不能直接混用。

优点：分类器数量少（$C$ 个），预测速度快。 缺点：每类的负类样本是其他所有类之和，类别不平衡严重；不同分类器输出不可比。

一对一（One-vs-One, OvO）#

每对类别 $(\omega_i, \omega_j)$ 之间训练一个二分类器 $g_{ij}(\mathbf{x})$，共 $C(C-1)/2$ 个。训练时只使用 $\omega_i$ 和 $\omega_j$ 的样本，其他类不参与。

决策准则：每个分类器 $g_{ij}$ 投一票给 $\omega_i$ 或 $\omega_j$，统计所有分类器的投票结果，得票最多的类别获胜：

其中 $\mathbb{I}[\cdot]$ 是指示函数。表示为 $\mathbb{I}[g_{kj}(\mathbf{x}) > 0] = 1$ 表示 $g_{kj}$ 投票给 $\omega_k$，否则投给 $\omega_j$。

优点：每个分类器只接触两类数据，训练快；无类别不平衡问题。 缺点：分类器数量随 $C$ 平方增长，预测时需运行 $C(C-1)/2$ 个分类器，速度慢。

Softmax 回归（多项逻辑回归）#

前两种方法将多分类拆成多个二分类，Softmax 回归则直接构造一个多类模型。

多类感知机 / 多类SVM（Crammer-Singer）#

直接构造 $C$ 个权重向量 $\mathbf{w}_1, \dots, \mathbf{w}_C$，决策函数为 $g_k(\mathbf{x}) = \mathbf{w}_k^T \mathbf{x} + b_k$，预测类别 $\arg\max_k g_k(\mathbf{x})$。

训练时要求正确类别的得分比其他类别至少大一个间隔（通常取 $1$），损失函数为：

其中 $[\cdot]_+ = \max(0, \cdot)$ 是合页损失（hinge loss）。这个损失鼓励正确类的得分高出所有错误类至少 1，对不满足约束的样本惩罚，满足的样本不产生损失。

多类 SVM 直接优化多类目标，理论上比 OvR/OvO 更一致，但变量数量为 $C \times (d + 1)$，优化更复杂。

方法对比#

选择策略没有绝对最优：类别数少且需要概率时 Softmax 是自然选择；类别数很多（如 >100）时 OvR 更实用；类别数很少（如 3-5）且追求精度时 OvO 值得一试。