biscuitの博客

前向传播公式：

标准RNN在计算 h^{(t)} 时，只能看到过去的信息 x^{(1)}, \ldots, x^{(t)}，但很多任务中当前时刻的预测需要依赖整个序列，包括未来的信息。

门：输出在 [0,1] 之间的向量，用来对某种信息（某个向量）做逐元素缩放

前面三种RNN模式要求输入和输出序列等长，但机器翻译这类任务中输入输出长度往往不同，需要一种更灵活的架构。

MLP 和 CNN 都假设输入是一个固定大小的向量——样本之间（或像素之间）没有时序依赖。但很多数据天然是序列：文本中的词汇有先后顺序，语音有时间延续，传感器数据按时间步采集。对这些数据，需要能建模时间依赖关系的网络结构。

在计算机视觉（特别是底层视觉，如去噪、超分、三维重建）中，我们面临的核心困境是病态问题（Ill-posed Problems）。

核心思想是：将我们对图像的数学或语义假设，直接编码为损失函数中的一个 惩罚项，从而约束模型的优化方向

在深度学习席卷计算机视觉之前，学者们依靠 数学建模和信号处理 将先验知识编码为精确的公式。这些手工设计的先验（Hand-crafted Priors）主导了底层视觉领域长达数十年，其核心思想至今仍深刻影响着现代神经网络的设计（例如，ResNet的残差结构就是对“噪声残差稀疏性”的先验继承）。