biscuitの博客

输入层：embedding lookup 与拼接#

每个历史词先查表得到 $d$ 维词向量：

其中：

• $\mathbf{x}_{w_k}$：one-hot 向量；
• $\mathbf{E} \in \mathbb{R}^{d \times V}$：嵌入矩阵。

把 $n-1$ 个词向量按顺序拼接：

隐藏层#

其中：

• $\mathbf{W}_{\text{hid}} \in \mathbb{R}^{m \times (n-1)d}$：隐藏层权重；
• $m$：隐藏层维度；
• $f$：激活函数，常取 tanh 或 ReLU。

输出层#

$\mathbf{W}_{\text{out}} \in \mathbb{R}^{V \times m}$，输出维度等于词表大小。

参数量(相比于 n-gram 的重要优势)#

NNLM 的总参数量为

• 前馈神经网络的参数量随词表大小 $V$ 和历史长度 $n-1$ 线性增长；
• 而 n-gram 的条件概率表规模约为 $V^{n-1}$，随阶数指数增长。
• 这是 NNLM 相对 n-gram 的重要优势。

训练目标#

对整个语料最大化对数似然，等价于最小化交叉熵：

用随机梯度下降和反向传播更新嵌入矩阵、隐藏层和输出层。训练完成后，嵌入矩阵 $\mathbf{E}$ 的列就是词向量。

输入层：词向量与历史拼接#

第 $i$ 步的输入由前一个词 $w_{i-1}$ 的词向量 $\mathbf{v}_{i-1}$ 和上一时刻的 包含所有历史词信息的 隐藏状态 $\mathbf{h}_{i-1}$ 拼接 而成：

• $d$：词向量维度；
• $m$：隐藏状态维度。
• 第一个词没有历史，通常令 $\mathbf{h}_0$ 为零向量或随机初始化向量。

隐藏层：权重拆解#

其中：

• 把 $\mathbf{W}_{\text{hid}}$ 拆成 $[\mathbf{U}, \mathbf{V}]$ 后，递归结构更清楚：$\mathbf{U}$ 负责处理当前词向量，$\mathbf{V}$ 负责处理上一时刻的隐藏状态。

• $\mathbf{U} \in \mathbb{R}^{m \times d}$：词向量的权重；

• $\mathbf{V} \in \mathbb{R}^{m \times m}$：隐藏状态的递推权重。

输出层：隐藏状态预测下一个词#

• $\mathbf{W}_{\text{out}} \in \mathbb{R}^{V \times m}$：输出层权重。

RNNLM 的关键性质：

• 所有时间步共享同一组参数，序列长度增加不会增加参数量；
• 隐藏状态在理论上可以携带任意远的历史信息。

训练与评价#

训练仍然是对数似然最大化，梯度需要通过时间反向传播（BPTT），见 RNN 基础 和 BPTT。语言模型常用困惑度（Perplexity, PPL）评价：

PPL 可以理解为模型在每个位置上的“平均候选词数”，越低越好。具体推导见 困惑度。

优点与问题#

RNNLM 的优点：

• 不限制历史长度，能建模长距离依赖；
• 参数量与序列长度无关，词向量在所有位置共享；
• 仍然是自监督训练，可直接利用大规模无标注文本。

问题：

• 梯度消失/爆炸：长序列上 BPTT 的梯度不稳定。常用梯度截断缓解，但会削弱长距离建模；更好的方案是 LSTM/GRU 的门控结构；
• 串行计算：第 $i$ 步依赖第 $i-1$ 步的隐藏状态，无法像 Transformer 那样在训练时并行处理整个序列；
• 固定容量瓶颈：所有历史被压缩进固定维度的 $\mathbf{h}_i$，信息量大时会有损失。

这些限制后来由注意力机制和 Transformer 解决：自注意力可以直接建模任意两个位置，并在训练时并行。