biscuitの博客

既然跨层连接效果这么好，那为什么不把前面所有层的特征图都直接拿过来用呢？

ResNet只是把前面一层的特征图拿过来用，DenseNet则是把前面所有层的特征图都拿过来用。

在同一个密集块（Dense Block）内，每一层的输入，来自前面所有层 的输出（特征图）的 串联/拼接（Concatenation）。

符号定义：

• 原始输入：$x_0$ 是输入到一个 Dense Block 的初始特征图。该 Block 内有 $L$ 层

• $x_l$ 是第 $l$ 层的输出特征图，$l=1,2,...,L$

• $[\cdot]$ 表示在 通道维度 （Channel）上进行的串联/拼接（Concatenation）操作。
• $H_l(\cdot)$ 是第 $l$ 层的非线性变换，通常是
  • BN → ReLU → Conv（1×1）→ BN → ReLU → Conv（3×3）(带bottleneck结构)
  • 和 BN → ReLU → Conv（3×3）(不带bottleneck结构)。