Tempered Adversarial Networks

论文链接: https://arxiv.org/abs/1802.04374v4.

文中指出, 传统 GANs 的训练是比较困难的, 并且对超参数非常的敏感. 一个可能的原因是判别器 $D$ 和生成器 $G$ 之间固有的不平衡. 判别器在真实和虚假的样本上进行训练, 而生成器只能控制虚假样本的生成. 除此之外, 判别器会快速地 “击败” 生成器, 导致梯度消失或模型崩溃.

作者提出一种简单的改进, 使得生成器可以控制真实样本, 引导一个对判别器和生成器调节的学习过程. 改进如下图所示:

左边是传统的 GANs 结构, 右边是本文提出的改进方法. 在将真实样本输入到判别器前, 先经过 “lens” 模块 $L$ 的处理, 举例来说, 这种处理可以是使得图片模糊化的操作, 随着训练的进行, 模糊的程度越来越浅.

Lens 模块的损失函数为

$$\mathcal L_L=\lambda \mathcal L_L^A + \mathcal L_L^R$$

其中 $\mathcal L_L^A$ 称为对抗损失, 且 $\mathcal L_L^A \approx – \mathcal L_D$, 第二项$\mathcal L_L^R$ 为重构损失, 定义为 $\mathcal L_L^R = \lVert \mathcal X – L(\mathcal X) \rVert _2 ^2$.

参数 $\lambda$ 是一个随着训练进行动态变化的值

$$\lambda = \begin{cases} 1-\sin{t \pi \over 2K}, & t \le K \\ 0, & t \gt K \end{cases}$$

$K$ 是总的迭代次数.

作者在 MNIST 数据集上进行训练, lens 模块提高了网络的性能

FID 指标用来衡量 GAN 的性能, 数值越低, 性能越好.