biscuitの博客

1. 一对多（One-vs-Rest, OvR）#

• 对于 $C$ 个类别，训练 $C$ 个二分类器 $g_k,k=1,2,\ldots,C$。
• 第 $k$ 个分类器：将第 $k$ 类 $\omega_k$ 视为正类（+1），其余所有类视为负类（-1）。

判别函数：

判别准则1：若存在 $i$ 使得 $g_i(\mathbf{x}) > 0,g_{others\ exclude\ i}<0$，则预测 $x$ 为第 $i$ 类。其他情况（如多个分类器输出正类或全部输出负类）拒绝识别。

判别准则2(无拒识区域)：$g_i(\mathbf{x}) = \arg\max_{j} g_j(\mathbf{x})$ ，如果 $g_i(\mathbf{x})$ 大于某一预先设定的值 $T$，则判别 $\mathbf{x}$ 属于 $\omega_i$ 类；如果 $g_i(\mathbf{x})$ 小于等于某一预先设定的值 $T$ ，拒识

优点：训练 $C$ 个分类器，预测时只需计算 $C$ 次。
缺点：类别不平衡（负类样本远多于正类）；不同分类器的输出可能不可比（SVM的得分可能需校准）。

2. 一对一（One-vs-One, OvO）#

• 每两个类别之间训练一个二分类器，共 $C(C-1)/2$ 个。
• 第 $i$ 和 $j$ 类之间的分类器 $g_{ij}$：将 $\omega_i$ 视为正类（+1），$\omega_j$ 视为负类（-1），其他类别样本不参与训练。

判别函数：

判别准则1：$g_{ij}(\mathbf{x}) > 0$ 则判别 $\mathbf{x}$ 属于 $\omega_i$ 类，否则属于 $\omega_j$ 类。其他情况（如多个分类器输出正类或全部输出负类）拒绝识别。

判别准则2：$i = \arg\max_{k}\sum_{j\neq k}^C \operatorname{sgn}(g_{kj}(\mathbf{x}))$，如果 $i$ 大于某一预先设定的值 $T$，则判别 $\mathbf{x}$ 属于 $\omega_i$ 类；其他情况拒绝识别。

优点：每个分类器只处理相关两类，训练快；无类别不平衡问题。
缺点：分类器数量随 $C$ 平方增长，预测时需运行所有分类器，耗时。

1. 多类感知机 / 多类SVM（Crammer & Singer）#

• 定义 $C$ 个权重向量 $w_1, w_2, \dots, w_C$。
• 决策函数：$g_k(x) = w_k^T x + b_k$，预测类别 $\arg\max_k g_k(x)$。
• 训练时，希望正确类别的输出比其他所有类别的输出至少大一个间隔（如1）。

损失函数（多类SVM合页损失）：

通常加正则化 $\sum_k \|w_k\|^2$。

优点：直接优化多类目标，理论上更一致。
缺点：优化更复杂，变量多（$C \times (d+1)$）。

2. Softmax 回归（多项逻辑回归）#

• 输出概率：

  $$P(y=k|x) = \frac{\exp(w_k^T x + b_k)}{\sum_{j=1}^C \exp(w_j^T x + b_j)}$$

• 训练：最大化对数似然（等价于最小化交叉熵损失）。

优点：给出概率估计；损失函数光滑凸，可用梯度下降。
缺点：仍为线性分类器（决策边界是线性的）；对线性不可分数据效果有限。