biscuitの博客

在上一节中，我们讨论了如何把先验“塞进”损失函数（通过额外惩罚项）。但这一节要讲一个更深刻、更“偷懒”的思想：如果我把网络结构本身设计成某种样子，是不是连损失函数里的惩罚项都可以省了？

前向传播公式：

标准RNN在计算 h^{(t)} 时，只能看到过去的信息 x^{(1)}, \ldots, x^{(t)}，但很多任务中当前时刻的预测需要依赖整个序列，包括未来的信息。

门：输出在 [0,1] 之间的向量，用来对某种信息（某个向量）做逐元素缩放

MLP 和 CNN 都假设输入是一个固定大小的向量——样本之间（或像素之间）没有时序依赖。但很多数据天然是序列：文本中的词汇有先后顺序，语音有时间延续，传感器数据按时间步采集。对这些数据，需要能建模时间依赖关系的网络结构。

前面三种RNN模式要求输入和输出序列等长，但机器翻译这类任务中输入输出长度往往不同，需要一种更灵活的架构。

在计算机视觉（特别是底层视觉，如去噪、超分、三维重建）中，我们面临的核心困境是病态问题（Ill-posed Problems）。

核心思想是：将我们对图像的数学或语义假设，直接编码为损失函数中的一个 惩罚项，从而约束模型的优化方向