biscuitの博客

其实Vit 的问题就是如何让transformer像处理 NLP 任务一样处理图像任务。ViT的输入是图像，输出是分类结果。ViT的核心思想就是把图像切成小块（patch），然后把这些小块当作一个序列输入到transformer中进行处理。这里重点讲编码的过程。

这里讲解 Transformer Block 中的前馈网络（Feed Forward Network，FFN）。它是编码器和解码器中的重要子层，通常位于多头注意力子层之后。

Transformer的架构由编码器（Encoder） 和解码器（Decoder） 两大部分组成

在上一节中，我们讨论了如何把先验“塞进”损失函数（通过额外惩罚项）。但这一节要讲一个更深刻、更“偷懒”的思想：如果我把网络结构本身设计成某种样子，是不是连损失函数里的惩罚项都可以省了？

前向传播公式：

标准RNN在计算 h^{(t)} 时，只能看到过去的信息 x^{(1)}, \ldots, x^{(t)}，但很多任务中当前时刻的预测需要依赖整个序列，包括未来的信息。

门：输出在 [0,1] 之间的向量，用来对某种信息（某个向量）做逐元素缩放