biscuitの博客

残差连接（Residual Connection）#

对于一个子层（SubLayer，可以是多头注意力或前馈网络），把他的输出记作 $\mathcal{F}(X_{in})$，那么残差连接的输出 $X_{out}$ 就是：

结合CNN里讲的ResNet残差块，残差连接的作用就是让网络可以直接学习恒等映射（Identity Mapping），而不是强迫网络去学习一个复杂的非线性映射。

层归一化（Layer Normalization）#

层归一化对单个样本的所有特征维度进行标准化（注意区分Batch Norm是对同一批次所有样本的同一个特征做标准化）。

为与自注意力和 FFN 章节保持一致，以下采用列优先表示：$X_{in}\in\mathbb{R}^{d\times n}$，每一列 $\mathbf{x}_i\in\mathbb{R}^{d}$ 是第 $i$ 个 token 的表示。LayerNorm 对每一列内部的 $d$ 个特征独立归一化；索引 $j$ 遍历特征维度。

其中 $\mu_i$ 和 $\sigma^2_i$ 分别是第 $i$ 个 token 在特征维度上的均值和方差，$\epsilon$ 是一个小常数以避免除零错误，$\boldsymbol{\gamma},\boldsymbol{\beta}\in\mathbb{R}^{d}$ 是可学习的逐特征缩放与偏移参数。

拓展到整个输入矩阵 $X_{in}$，层归一化的每一步和最终输出可以表示为：

TIP

在实际代码中，均值和方差会沿特征维度计算并广播到所有 $d$ 行；这样可以充分利用矩阵运算的并行性。

• $\odot$ 表示逐元素乘法（Hadamard Product）
• $\boldsymbol{\gamma}$ 和 $\boldsymbol{\beta}$ 是 $d$ 维向量，分别表示每个特征维度的缩放和偏移参数。
• 它们在计算时会沿 token 维度广播成 $d\times n$ 的矩阵。

Pre-LN vs Post-LN#

Post-LN（原始论文的做法）：

Pre-LN 现代主流实现（Pre-Norm，如GPT、LLaMA、ViT等）：

Post-Norm的问题：在深层网络中，残差路径的梯度虽然直通，但紧接着就进入LayerNorm。如果LayerNorm的梯度不稳定（尤其是早期训练阶段），仍可能放大噪声。

Pre-Norm的优势：它将所有子层（注意力/FFN）的输入都“摆正”（归一化到0均值1方差），使得子层的优化更加平稳。更重要的是，残差连接本身不受归一化影响，梯度可以直接“流过”加法路径，不用穿过LayerNorm。