biscuitの博客

是一种深度学习模型，由 Ian Goodfellow 等人在 2014 年提出。GAN 的核心思想是通过两个神经网络的对抗训练来生成逼真的数据样本。

Add: 指残差连接（Residual Connection），也叫跳跃连接（Skip Connection）

这里讲解 Transformer Block 中的前馈网络（Feed Forward Network，FFN）。它是编码器和解码器中的重要子层，通常位于多头注意力子层之后。

其实Vit 的问题就是如何让transformer像处理 NLP 任务一样处理图像任务。ViT的输入是图像，输出是分类结果。ViT的核心思想就是把图像切成小块（patch），然后把这些小块当作一个序列输入到transformer中进行处理。这里重点讲编码的过程。

Transformer的架构由编码器（Encoder） 和解码器（Decoder） 两大部分组成