biscuitの博客

动机#

标准RNN在计算 $h^{(t)}$ 时，只能看到过去的信息 $x^{(1)}, \ldots, x^{(t)}$，但很多任务中当前时刻的预测需要依赖整个序列，包括未来的信息。

典型例子：

• 语音识别：一个音节的发音可能受后续音节影响
• 图像描述：描述某个词时需要参考整句话的语义
• 手写识别：当前笔画的含义依赖前后文

结构#

双向RNN由两个方向相反的RNN组合而成：

• 前向RNN：从左到右处理序列，得到前向隐藏状态 $h^{(t)}$
• 后向RNN：从右到左处理序列，得到后向隐藏状态 $g^{(t)}$
• 输出层：同时接收 $h^{(t)}$ 和 $g^{(t)}$，综合两个方向的信息

$o^{(t)} = f(h^{(t)}, g^{(t)})$

这样每个时刻的输出都能同时利用过去和未来的上下文信息。