biscuitの博客

符号#

TIP

工程上，行优先，常见于代码，例如$X\in \mathbb{R}^{n \times d}$；列优先，常见于数学公式。这里为了方便理解，采用列优先的方式。两者在乘积顺序和转置上面有一点区别，但本质上是一样的。

”自” 参注意力#

在机器翻译中，传统的注意力（Cross-Attention，交叉注意力）是：解码器在生成“苹果”这个词时，去编码器里找输入句子“I love apples”中哪个词（I / love / apples）最相关。

而自注意力中的“自”指的是：Query（查询）、Key（键）、Value（值）这三个向量，全部来自同一个输入序列本身。

前置概念#

词嵌入向量（Embedding）：每个输入词都会被映射为一个高维向量，称为词嵌入向量。假设输入序列长度为 $n$，每个词的嵌入维度为 $d$，则输入序列可以表示为一个矩阵 $X=[\mathbf{x_1}, \mathbf{x_2}, ..., \mathbf{x_n}] \in \mathbb{R}^{d \times n}$。

为了计算注意力，需要为每个词生成三个不同的向量。这三个向量是通过三个可训练的权重矩阵与输入向量相乘得到的：

• Query（查询）向量 $Q = W_QX=[\mathbf{q_1}, \mathbf{q_2}, ..., \mathbf{q_n}]\in \mathbb{R}^{d_k \times n}$，
  • 其中 $W_Q \in \mathbb{R}^{d_k \times d}$ 是查询的权重矩阵，$d_k$ 是查询向量的维度。
  • “提问者”。这个词想知道：“在当前语境下，我应该关注谁？”
• Key（键）向量 $K = W_KX=[\mathbf{k_1}, \mathbf{k_2}, ..., \mathbf{k_n}]\in \mathbb{R}^{d_k \times n}$，
  • 其中 $W_K \in \mathbb{R}^{d_k \times d}$ 是键的权重矩阵。
  • “被问者”。这个词说：“我的特征是XXX，看看你要找的是不是我？”
• Value（值）向量 $V = W_VX=[\mathbf{v_1}, \mathbf{v_2}, ..., \mathbf{v_n}]\in \mathbb{R}^{d_v \times n}$，
  • 其中 $W_V \in \mathbb{R}^{d_v \times d}$ 是值的权重矩阵，$d_v$ 是值向量的维度。
  • “实际内容”。一旦确认了“提问者”和“被问者”很匹配，这就是我实际要传递给你的具体语义信息。

self-attention计算步骤#

多头注意力机制（Multi-Head Attention）#

多头指的是：将查询、键、值向量分别映射到多个子空间中，进行多次注意力计算，然后将结果拼接起来。

有点类似于CNN中的多通道卷积，每个通道可以学习到不同的特征表示。这里每个头也可以看作是一个独立的注意力机制，它们可以关注输入序列的不同方面。