TransferI2I：小数据集图像到图像转换的迁移学习
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
图像-图像转换(I2I)近年来已经成熟，能够生成高质量的真实感图像。然而，尽管它目前取得了成功，但在应用于小领域时仍然面临着重要的挑战。现有的方法使用迁移学习进行I2I翻译，但它们仍然需要从头学习数百万个参数。这个缺点严重限制了它在小域上的应用。本文提出了一种新的用于I2I翻译的迁移学习方法TransferI2I。作者将学习过程解耦到图像生成步骤和I2I平移步骤。在第一步中，作者提出了两种新的技术:源目标初始化和适配器层的自初始化。前者在源数据和目标数据上对预先训练的生成模型(例如StyleGAN)进行微调。后者允许初始化所有非预训练的网络参数，而不需要任何数据。这些技术为I2I转换步骤提供了更好的初始化。此外，作者还引入了一种辅助GAN，它可以进一步促进深度I2I系统的训练，即使是从小数据集。在三个数据集(Animal faces, Birds, and Foods)上的广泛实验中，作者证明了作者优于现有的方法，并且mFID在几个数据集上的改进超过了25个点。
代码链接：https://github.com/yaxingwang/TransferI2I
迁移学习可以大大减少对数据的需求;因此，本文将I2I应用于数据匮乏的领域。作者的主要贡献是:
作者在有限的数据下探索I2I转换，减少所需的标记数据量。
作者提出了几个新技术(即源目标初始化、自初始化和辅助生成器)来促进这一具有挑战性的设置。
作者在两类和多类I2I平移任务中广泛研究了所提出的方法的特性，并在高质量图像中实现了显著的性能改进。
框架结构
模型架构和培训阶段。这里的模块来自前一阶段，除非另有说明。使用预先训练过的GAN(例如StyleGAN[27])作为G0和D0来初始化两个GAN。(a) Source-target初始化对两个域(即X1和X2)进行微调，形成两个独立的gan(即生成器G1和鉴别器D1，生成器G2和鉴别器D2)。(b)适配器层自初始化，对适配器A进行预训练，对发生器G2和鉴别器D1进行对齐。(c) I2I平移模型由编码器E、适配器层A、生成器G2、辅助生成器G0 2和鉴别器D2五个主要部分组成。注意编码器E是由鉴别器D1初始化的。G0 2中未共享的权重部分(黄色部分)使用G2权重初始化。
条件模型架构和培训阶段。这里的模块来自前一阶段，除非另有说明。使用预处理过的GAN(如BigGAN[9])作为G0和D0来初始化GAN。(a)源-目标初始化对所有数据进行微调，以形成一个经过训练的GAN模型(即，(b)适配器层的自初始化，预先训练适配器A，并对齐生成器G和鉴别器D。作者只更新适配器层A。(c) I2I平移模型由五个主要部分组成:编码器E，适配器层A，生成器G，辅助生成器G0和鉴别器d。注意编码器E是由鉴别器d初始化的。G0中未共享的权重部分(黄色部分)是由G权重初始化的。
实验结果
动物脸与食物的定性比较。输入图像在第一列中，其余的列显示特定于类的翻译图像。
cat2dog-200数据集上生成的输出示例。
cat2dog数据集上适配器的源和目标初始化和自初始化生成的示例。前两列分别是StyleGAN和生成器在源和目标初始化后的输出。剩下的列(G(Ai)(i = 0;1;2;3))为发电机G的对应输出，G仅取适配器Ai(i = 0;1;2;3)。
结论
作者提出了一种从图像到图像的迁移学习中获益的方法。作者将学习过程解耦为图像生成和I2I翻译步骤。第一步包括适配器的源-目标初始化和自我初始化，目的是学习更好的I2I转换初始化(第二步)。此外，作者还引入了一个辅助发电机，以克服发电机深层使用效率低下的问题。作者的实验证实，所提出的迁移学习方法即使在只有很少标记样本的情况下，也能取得最先进的结果，优于最近的方法，如deepI2I和starGANv2
论文链接：https://arxiv.org/pdf/2105.06219.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。