biscuitの博客

从线性到非线性#

对于线性不可分的数据，一个经典思路是将原始特征映射到高维空间，使数据在高维空间中变得线性可分。记这个映射为 $\phi(\mathbf{x})$，线性模型变为：

$\phi(\mathbf{x})$ 的维度通常远高于 $\mathbf{x}$（甚至无穷维），直接计算 $\phi(\mathbf{x})$ 和 $\mathbf{w}$ 的代价极高。核技巧的核心是：许多算法的优化和预测过程只依赖于样本之间的内积 $\langle \phi(\mathbf{x}_i), \phi(\mathbf{x}_j) \rangle$，而非 $\phi(\mathbf{x})$ 本身。

核函数与核技巧#

核函数定义为两个样本在映射空间中的内积：

核技巧（kernel trick）指：不显式定义 $\phi$，直接设计 $K$ 函数。只要 $K$ 满足 Mercer 条件（对称且半正定），它就对应某个映射空间中的内积。这意味着我们可以：

• 使用一个 $d$ 维空间中的简单核函数计算，等价于在某个高维（甚至无穷维）空间中做内积
• 完全不必知道 $\phi$ 具体是什么

核支持向量机#

超参数选择#

核 SVM 有两个关键超参数：

$C$（来自软间隔）：控制对错分的惩罚力度。

• $C$ 大 → 更关注训练集准确率，可能过拟合
• $C$ 小 → 允许更多错分，间隔更宽，泛化更好

$\sigma$ 或 $\gamma$（来自 RBF 核，通常记 $\gamma = 1/2\sigma^2$）：控制单个样本的影响范围。

• $\sigma$ 小（$\gamma$ 大）→ 每个样本只影响近邻，决策边界复杂，易过拟合
• $\sigma$ 大（$\gamma$ 小）→ 每个样本影响范围广，决策边界平滑，易欠拟合

这两个参数的组合需要交叉验证调优。经验做法是在对数尺度上搜索（如 $C \in \{2^{-5}, 2^{-3}, \dots, 2^{15}\}$，$\gamma \in \{2^{-15}, 2^{-13}, \dots, 2^{3}\}$）。

核方法的更广泛应用#

核技巧不限于 SVM。任何可以写成样本间内积形式的算法都可以核化。典型例子包括：

• 核 PCA（kPCA）：对核矩阵 $\mathbf{K}$（其中 $K_{ij} = K(\mathbf{x}_i, \mathbf{x}_j)$）做特征分解，得到高维空间中的主成分。已有单独文章介绍。
• 核 Fisher 判别（KFD）：将 LDA 核化，在高维空间中寻找最大可分方向。
• 核岭回归（KRR）：将 Ridge 回归核化。

核方法在深度学习兴起前是处理非线性问题的主流工具。它的优势是数学优雅、有凸优化保证，缺点是需要设计/选择核函数，且核矩阵 $\mathbf{K}$ 的规模为 $O(n^2)$，大样本时计算和存储成本高。

小结#

核方法通过一个简洁的数学变换，将线性模型的适用范围扩展到非线性：

• 核技巧 = 用核函数隐式计算高维内积，避免显式映射
• 核 SVM = 将线性 SVM 对偶中的内积替换为核函数
• 任何内积形式的算法都可以核化，核 SVM 只是其中一个应用