biscuitの博客

Image2StyleGAN（ICCV 2019）#

Image2StyleGAN 是第一个系统性地在 $W^+$ 空间做图像编辑的工作。它提出将 StyleGAN 合成网络的每一层分配独立的 $w_i$，形成 $W^+$ 空间。

在该空间上可以执行三类操作：

风格混合：将两张图的 $W^+$ 向量按层级截断拼接，前 $k$ 层来自图像 A（控制姿态和粗结构），后 $18-k$ 层来自图像 B（控制颜色和纹理），从而生成融合了两张图各自特征的新图像。

表情迁移：在 $W^+$ 空间中沿”中性→微笑”方向移动隐码，保持其他层级不变，实现单属性编辑。

激活值扩散：通过修改生成器中间层的特征图 $F$（非 $W^+$），将一张图的局部特征迁移到另一张图的对应位置。

Image2StyleGAN++（CVPR 2020）#

在 Image2StyleGAN 基础上引入 $N$ 空间（每层的随机噪声图），为编辑加入了精细纹理控制。

新增的能力：

• 图像填充/补全：只优化被遮盖区域的隐码，保持未遮盖区域不变。通过在 $W^+$ 和 $N$ 空间上联合优化实现。
• 局部编辑：仅修改目标区域的 $W^+$ 向量和噪声图，保留非目标区域的生成结果。编辑只影响指定区域的特征。
• 局部风格迁移：将源图的局部纹理特征（通过 $F$ 空间和 $N$ 空间）迁移到目标图的对应区域。
• 语义扩散：在 $W^+$ 空间中做插值，从编辑区域向非编辑区域平滑过渡。

In-domain GAN Inversion（ECCV 2020）#

前面的方法可能导致反演结果落在流形之外（过度拟合噪声），破坏了编辑能力。In-domain 方法在优化 $W^+$ 时增加域内约束项，强制隐码落在流形的”良好”区域——优化损失中加一项 $\|w_i - \text{MLP}(z)\|^2$ 将 $w_i$ 拉向 Mapping Network 的输出分布。

HairMapper（CVPR 2022）#

通过精确的分割掩码将发型编辑限定在头发区域内。流程为：反演到 $W^+$ → 用分割网络提取头发掩码 → 仅调整掩码内区域的 $W^+$ 向量 → 重建。掩码的引入使得编辑可以精确控制边界，不会影响额头、耳朵等相邻区域。

GANSpace（NeurIPS 2020）#

在 $W$ 空间的样本上做 PCA，发现前几个主成分对应了可解释的语义方向。PCA 分解出的第 $k$ 个成分 $v_k$ 对应数据分布中方差最大的第 $k$ 个变化方向——这些方向在 StyleGAN 的隐空间中恰好对齐了语义属性。

实现方式：采样大量 $w$ → 计算 PCA → 找出前若干主成分。编辑时沿 $w + \alpha \cdot v_k$ 方向移动，$\alpha$ 控制编辑强度。

SeFa（CVPR 2021）#

GANSpace 需要采样大量隐码做 PCA，计算量大。SeFa 发现对生成器第一层全连接层的权重矩阵 $A$ 做特征分解即可得到语义方向。

这些特征向量与 GANSpace 用 PCA 发现的语义方向高度一致。SeFa 不需要任何数据采样，封闭求解，计算量为零。

CLIP 简述#

CLIP（Contrastive Language-Image Pre-training, OpenAI）在 4 亿图文对上训练了一个双塔模型：图像编码器将图像映射到嵌入空间，文本编码器将文本映射到同一空间。通过对比学习，配对的图像-文本在空间中靠近，不配对的远离。这种零样本能力使得 CLIP 可以作为图像编辑的语义指导。

Latent Mapper#

StyleCLIP 的 Latent Mapper 方案：训练一个轻量级映射网络，将输入文本的 CLIP 嵌入转换为 $W^+$ 空间的偏移量 $\Delta w$。推理时输入一张图 → 反演到 $W^+$ → 输入文本 → CLIP 文本编码器 → Latent Mapper 预测 $\Delta w$ → $w + \Delta w$ → 生成器输出编辑后的图像。

三种方案对比#

StyleCLIP 论文提出了三种文本驱动编辑方案：

:::tip TODO

在此处插入一张完整的 GAN 图像编辑 pipeline 示意图（反演→隐空间→编辑→重建）

:::