生成对抗网络( GAN ) 是一类强大的深度生成模型。GAN 背后的主要思想是训练两个神经网络：生成器（学习如何合成数据（例如图像））和鉴别器（学习如何区分真实数据和生成器合成的数据）。这种方法已成功用于高保真自然图像合成、改进学习图像压缩、数据增强等。
对于自然图像合成，最先进的结果是由条件 GAN实现的，与非条件 GAN 不同，它在训练期间使用标签（例如汽车、狗等）。虽然这使任务变得更容易并带来显着的改进，但这种方法需要大量标记数据，而这在实践中很少可用。
在“使用更少标签的高保真图像生成”中，我们提出了一种新方法来减少训练最先进的条件 GAN 所需的标记数据量。当与大规模 GAN 的最新进展相结合时，我们使用少 10 倍的标签即可达到高保真自然图像合成的最新水平。基于这项研究，我们还将发布Compare GAN 库的重大更新，其中包含训练和评估现代 GAN 所需的所有组件。
通过半监督和自监督实现改进
在条件 GAN 中，生成器和鉴别器通常都以类标签为条件。在这项工作中，我们建议用推断的标签取代手工标注的地面实况标签。为了为大部分未标记数据的大型数据集推断出高质量的标签，我们采取了两步方法：首先，我们仅使用数据集中未标记的部分来学习特征表示。为了学习特征表示，我们利用最近引入的方法形式的自我监督，其中未标记的图像被随机旋转，深度卷积神经网络负责预测旋转角度。这个想法是，模型需要能够识别主要对象及其形状才能成功完成此任务。
未标记的图像被随机旋转，网络负责预测旋转角度。成功的模型需要捕捉语义上有意义的图像特征，然后将其用于其他视觉任务。
然后，我们将训练好的网络其中一个中间层的激活模式视为输入的新特征表示，并使用原始数据集的标记部分训练分类器来识别该输入的标签。由于网络经过预先训练，可以从数据中提取语义上有意义的特征（在旋转预测任务中），因此训练这个分类器比从头开始训练整个网络更节省样本。最后，我们使用此分类器标记未标记的数据。为了进一步提高模型质量和训练稳定性，我们通过之前
引入的辅助损失鼓励鉴别器网络学习有意义的特征表示，这些特征表示在训练过程中不会被遗忘。这两项进步与大规模训练相结合，造就了最先进的条件 GAN，可用于以Fréchet Inception
Compare GAN：用于训练和评估 GAN 的库
GAN 的前沿研究在很大程度上依赖于精心设计和测试的代码库，因为即使复制以前的结果和技术也需要付出巨大的努力。为了促进开放科学并让研究界从最近的进步中受益，我们发布了Compare GAN库的重大更新。该库包括现代 GAN 中常用的损失函数、正则化和规范化方案、神经架构和定量指标，现在支持：
在 GPU 和 TPU 上进行训练。
通过TensorFlow 数据集库获取大量数据集。
结论和未来工作
鉴于标记和未标记数据源之间的差距越来越大，能够从仅部分标记的数据中学习变得越来越重要。我们已经证明，简单而强大的自监督和半监督组合可以帮助缩小 GAN 的这一差距。我们认为自监督是一个强大的想法，应该在其他生成建模任务中进行研究。
致谢
与苏黎世 Google Brain 团队、苏黎世联邦理工学院和加州大学洛杉矶分校的同事合作完成的工作。我们要感谢论文合著者 Michael Tschannen、Xiaohua Zhai、Olivier Bachem 和 Sylvain Gelly 的意见和反馈。我们要感谢 Alexander Kolesnikov、Lucas Beyer 和 Avital Oliver 就自监督学习和半监督学习进行的有益讨论。我们要感谢 Karol Kurach 和 Marcin Michalski 对 Compare GAN 库的重大贡献。我们还要感谢 Andy Brock、Jeff Donahue 和 Karen Simonyan 对在 TPU 上训练 GAN 的见解。本文中描述的工作也建立在我们与 Ting Chen 和 Neil Houlsby 合作的“自监督生成对抗网络”工作的基础上。
发表于 2024-11-21 19:22:15