biscuitの博客

逐位置#

在 Transformer 中，前馈网络是逐位置（position-wise）的：它对输入中 每个位置 的词嵌入独立地应用 同一套 前馈网络参数，不涉及其他位置的信息。也就是说，FFN 对每个 token 的表示都是独立处理的，参数矩阵在所有位置共享。

公式#

为与自注意力一节保持一致，以下采用列优先表示：$X_{in}\in\mathbb{R}^{d\times n}$，其中每一列 $\mathbf{x}_i\in\mathbb{R}^{d}$ 是第 $i$ 个 token 的表示；$n$ 是序列长度，$d$ 是特征维度。这个输入通常来自前一注意力子层；残差连接与 LayerNorm 的具体顺序见 Add & Norm。

一个标准的FFN包含两个线性层（Linear Layers），中间夹一个非线性激活函数（原始Transformer用ReLU，现代GPT/ViT多用GELU）。对于输入 $X_{in}$以及其单个token的 $\mathbf{x}_i$，前馈网络的计算公式为：

其中 $\sigma$ 是逐元素激活函数，例如 ReLU 或 GELU；$\mathbf{1}_n\in\mathbb{R}^{n}$ 用于将偏置广播到所有 token 列。由单个位置的公式可见，FFN 对每个 $\mathbf{x}_i$ 都是独立处理的；参数矩阵 $W_1,W_2$ 与偏置向量 $\mathbf{b}_1,\mathbf{b}_2$ 则在所有位置共享。

注意参数矩阵的维度

• $W_1\in\mathbb{R}^{d_{ff}\times d}$，$\mathbf{b}_1\in\mathbb{R}^{d_{ff}}$ 用于将输入投影到更高维的隐藏空间，通常 $d_{ff}$ 比 $d$ 大很多（例如 $d_{ff}=4d$）。
• $W_2\in\mathbb{R}^{d\times d_{ff}}$，$\mathbf{b}_2\in\mathbb{R}^{d}$ 用于将隐藏空间投影回原始维度。

为什么需要FFN#

如果把 Transformer 比作一个“办公流程”：

• 多头注意力是“开会讨论”（Token 间互相传递消息，确认“谁对谁重要”）；

• FFN 则是“散会后回工位独立处理”（每个 Token 拿着开会得出的纪要，回到自己的高维思维空间里深思熟虑，过滤掉噪声，只提取对自己最有用的模式，最后写成新的汇报提交）。

常见的 $d_{ff}=4d$ 是经验性的宽度设置；更宽的隐藏层能容纳更多特征组合与参数容量，但会增加计算和显存开销。现代模型也会采用其他扩张比例或门控 FFN（如 SwiGLU）。

FFN 本质上是一个庞大的 Key-Value 记忆网络。

• 第一层的权重（和偏置）可以看作是一组 Key（键）。

• 第二层的权重（的每一行）可以看作是对应的 Value（值）。

计算过程：输入向量与所有 Key 做点积（计算相似度），经过激活函数过滤，再加权组合对应的 Value 输出。FFN 的两层计算产生一个“增量更新量”（Delta）。

CNN中的1x1卷积和FFN的相似#

在 CNN 中，1×1 卷积的作用是跨通道混合信息：只混合特征维度 $c$，不混合空间维度 $(H,W)$。

在 ViT 中，FFN 也是只混合特征维度 $d$，完全不混合序列维度 $n$。

多头注意力负责混合“空间/序列”信息（类似CNN的大卷积核），而FFN负责混合“通道/特征”信息（类似 CNN的1×1 卷积）。这种“空间-通道”交替处理的范式，是视觉模型（无论是CNN还是Transformer）的共同底层逻辑。