biscuitの博客

DnCNN 的局限#

• 噪声水平固定：训练时可以对不同 $\sigma$ 采样，但推理时输入的是固定的噪声水平图，没有”可调”机制。若实际噪声与训练的 $\sigma$ 分布不匹配，去噪效果退化。
• 大噪声的低效：大噪声需要更大的感受野来区分信号与噪声。DnCNN 对于 $\sigma>25$ 需要加深至 17–20 层，全分辨率特征图上的大卷积核导致计算量随深度线性增长。
• 空间均匀假设：DnCNN 隐含假设全图噪声水平一致，无法处理真实场景中常见的空间变化噪声（如暗部噪声强于亮部）。

改进一：可调噪声水平图输入#

与 DnCNN 在输入层拼接固定 $\sigma$ 的全 1 图不同，FFDNet 将噪声水平图 $\hat{\sigma}(i,j)$ 作为可控制的输入，每张图的每个像素可以有不同的 $\sigma$ 值：

在训练时，每个 mini-batch 的 $\sigma$ 从 $[0, 75]$ 中均匀采样。在推理时，用户设置一个 $\sigma$ 输入网络——若实际噪声水平未知，可以先用噪声估计器估算 $\sigma$ 再输入。这使得单一 FFDNet 模型可以覆盖极其宽广的噪声范围，且推理时可以按需调参。

更进一步，若传入的空间变化噪声图 $\hat{\sigma}(i,j)$ 在不同位置取不同值，FFDNet 可以处理空间非均匀噪声。这在真实场景中非常实用（如 CMOS 传感器的暗角噪声、低光照区域的放大噪声）。

改进二：下采样子图架构#

FFDNet 在输入端做一次 $2\times$ 下采样，将输入图像分解为 4 个子图，在子图上运行核心网络，再上采样重组。流程如下：

1. 输入图像 $y \in \mathbb{R}^{H \times W \times c}$ 与噪声水平图 $\hat{\sigma}$ 沿通道拼接。
2. 将拼接后的 $H \times W \times (c+1)$ 张量通过下采样算子分解为 4 个 $\frac{H}{2} \times \frac{W}{2} \times (c+1)$ 的子图。
   • 下采样算子：按 $2\times2$ 棋盘格模式采样，每个子图对应棋盘的一个相位。
3. 4 个子图串联（concatenate）成一个 $\frac{H}{2} \times \frac{W}{2} \times 4(c+1)$ 的张量。
   • 在彩色图上，这一步将 $4 \times (3+1) = 16$ 个通道同时送入网络。
4. 在这个降采样后的张量上运行 DnCNN 风格的非线性映射网络（Conv+BN+ReLU）。
   • 特征图尺寸减半，运算量降至约四分之一。
   • 同等层数下，子图上的有效感受野扩大一倍（相对输入而言）。
5. 将输出张量通过逆下采样（上采样重组）恢复为 $H \times W \times c$ 的输出残差图。
6. $\hat{x} = y + F(y; \hat{\sigma})$（注意这里是加残差，与 DnCNN 的减残差等价）。

这种设计的直觉是：去噪需要大感受野来区分纹理和噪声，下采样后的子图在保持像素级信息的同时扩大了全局视野，且每个子图独立处理的噪声分布与全图一致——棋盘格的交错采样方式保证了信息不丢失。

网络配置#

FFDNet 的核心网络比 DnCNN 更浅：中间层通常为 $d = 12$ 层（DnCNN 17）。下采样子图使每层的有效感受野扩大了一倍 $2\times$，所以 12 层子图的实际感受野与 DnCNN 17 层全分辨率网络相当。