biscuitの博客

问题定义#

给定训练集 $\{(\mathbf{x}_i, y_i)\}_{i=1}^{N}$，其中：

• $\mathbf{x}_i = (x_{i1}, x_{i2}, \dots, x_{id})^T \in \mathbb{R}^d$ 是第 $i$ 个样本的特征向量
• $y_i \in \mathbb{R}$ 是第 $i$ 个样本的连续值标签（不同于分类的离散标签）

线性回归假设输出与特征之间存在线性关系：

为了符号简洁，通常将偏置 $b$ 吸收进权重向量：扩展 $\mathbf{w}' = (w_1, \dots, w_d, b)^T$，$\mathbf{x}'_i = (x_{i1}, \dots, x_{id}, 1)^T$，则模型简化为：

（下文中 $\mathbf{w}$ 和 $\mathbf{x}_i$ 均指增广后的形式。）

最小二乘估计（Ordinary Least Squares）#

Ridge 回归（L2 正则化）#

OLS 在特征维数较高或样本较少时容易过拟合——参数 $\mathbf{w}$ 的取值会变得很大，对噪声极度敏感。Ridge 回归在损失函数中加入 L2 惩罚项 $\|\mathbf{w}\|_2^2$：

其中 $\lambda > 0$ 是正则化系数，控制惩罚强度。

闭式解推导：

整理得：

与 OLS 唯一的区别是在 $\mathbf{X}^T \mathbf{X}$ 上加了一个 $\lambda \mathbf{I}$。这保证了即使 $\mathbf{X}^T \mathbf{X}$ 不可逆，$(\mathbf{X}^T \mathbf{X} + \lambda \mathbf{I})$ 也总是可逆的。

Lasso 回归（L1 正则化）#

Lasso 将 L2 惩罚替换为 L1 惩罚：

L1 惩罚的一个重要性质是：它倾向于将部分权重精确压缩到零，产生稀疏解。这等价于特征选择——哪些特征对应的权重非零，哪些特征就被模型保留。

Lasso 没有闭式解，通常用坐标下降或近端梯度法求解。这与 OLS 和 Ridge 不同——后两者直接代入公式就能得到答案。

从 MAP 视角看，Lasso 等价于对 $\mathbf{w}$ 引入拉普拉斯先验（Laplace prior），详见 Estimation 章的相关讨论。

偏差-方差视角#

OLS 和 Ridge 的差异可以用回归上下文中的偏差-方差分解来理解：

对于任意估计量 $\hat{\mathbf{w}}$，新样本 $\mathbf{x}$ 上的期望测试误差可以分解为：

对比 OLS 和 Ridge：

$\lambda$ 控制这个折中：$\lambda=0$ 退化为 OLS（无偏但高方差）；$\lambda$ 增大，偏差上升、方差下降。适当的 $\lambda$ 能使总体测试误差低于 OLS——这是正则化能够提升泛化性能的根本原因。

与分类的桥梁#

线性回归虽然做的是回归任务，但它求解参数的思想直接衍生出了分类领域的两个方法：

• LMSE（最小均方误差分类器）：将分类标签视作 $\pm 1$ 的实数目标值，直接用线性回归的框架求解。其闭式解与 OLS 形式完全一致。
• 逻辑回归：在线性回归的输出上套一个 Sigmoid 函数，将连续输出映射到概率。损失函数从均方误差改为交叉熵。

前者在下一节处理，后者在逻辑回归一节展开。

小结#

线性回归是整个”线性模型”的基础。它的核心部件——定义模型、设计损失函数、求解闭式解/梯度下降、引入正则化——会在后续每个模型中反复出现。理解 OLS→Ridge→Lasso 这条线，也就理解了”如何通过正则化控制模型复杂度”这个贯穿机器学习的核心思想。