InfinityGAN：迈向无限分辨率的图像合成
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
我们提出了一种生成任意分辨率图像的方法InfinityGAN。这个问题与几个关键的挑战有关。首先，将现有模型缩放到高分辨率是资源受限的，无论是在计算和高分辨率训练数据的可用性方面。InfinityGAN使用较低的计算资源，对一个补丁一个补丁地进行无缝地训练和推断。第二，大图应该是局部和全局一致的，避免重复的模式，并且看起来真实。为了解决这些问题，InfinityGAN考虑到了整体外观、局部结构和纹理。有了这个公式，我们可以生成分辨率和细节水平的图像，以前无法实现。实验评估支持，与基线相比，InfinityGAN生成的图像具有更优越的全局结构，同时具有并行化推理。最后，我们展示了通过我们的方法解锁的几个应用程序，如在任意输入和输出分辨率下融合空间风格、多模态外涂和图像之间的图像。
项目链接：http://bit.ly/InfinityGANProject
我们进行了大量的实验来验证所提出的方法。定性地说，我们呈现的是永恒的景观图像。在定量上，我们使用用户研究和提出的ScaleInv FID度量来评估InfinityGAN和相关方法。此外，我们还通过一些应用证明了所提方法的有效性。
首先，我们通过在图像中融合来自不同分布的结构和纹理来证明所提方法的灵活性和可控性。
其次，我们利用图像反演技术证明了我们的模型是一种有效的深度图像先验，可以从任意形状的输入中实现任意长度的多模态图像的深度绘制。
第三，利用所提出的模型，我们可以将完整的图像生成分解为独立的patch生成，并通过并行计算实现7.2的推理加速，这是高分辨率图像合成的关键。
框架结构
我们提出了InfinityGAN，一种在有限和低分辨率数据集上训练的方法，同时在推理时生成无限分辨率的图像。为了达到全局一致性，我们假设大图像中的所有patch都具有相同的整体外观。局部纹理和结构分别建模，使该方法能够合成不同的局部细节。InfinityGAN由一个神经隐式函数(称为结构合成器)和一个全卷积StyleGAN2生成器(称为纹理合成器)组成。结构合成器以全局外观为条件，从可扩展到无限分辨率的隐式图像中采样一个子区域，并产生局部结构表示。纹理合成器的设计是为了避免CNNs[11]的公共位置编码，为结构合成器提供的结构生成纹理。由这两个模块组成，InfinityGAN可以推断一个引人注目的场景的全局组成，并真实地渲染其局部细节。通过小补丁的训练，InfinityGAN实现了高质量、无缝和高分辨率的输出，单个TITAN X的训练和测试所需的计算资源很低。
图3
InfinityGAN的发生器由两个模块组成,结构合成器基于神经隐函数,和fully-convolutional纹理合成器删除所有位置信息(参见图3)。两个网络需要4组输入,一个全球性的潜变量,定义了图像的整体外观,一个代表局部和结构变化的局部潜在变量，一个用于学习神经隐式结构合成器的连续坐标，以及一组随机噪声来建模细粒度纹理。InfinityGAN通过学习空间可扩展表示来合成任意分辨率的图像。
没有填充的全卷积生成器
为了让纹理合成器只学习纹理表示而不是结构信息，我们从生成器中删除了所有的填充以避免位置编码。有了这种全卷积的生成器设计，我们可以在空间上独立地生成补丁，形成无缝的图像。
实验结果
反向隐式的图像之间
该系统通过对不同位置的真实图像进行反相，可以合成任意长度的循环全景图和中间图像。顶部行图像大小为256 2080像素。
综合输出
InfinityGAN可以通过采样outpaint区域的不同局部潜在元素来实现多模态outpaint。用红框标注的真实图像为256 128像素。
结论
在这项工作中，我们提出并解决了合成无限分辨率图像的问题，并演示了所提出的InfinityGAN框架的几个应用。在未来的研究中还存在一些挑战。首先，我们的Flickr-Landscape数据集由不同fov和距离景物的图像组成。“无限gan”试图将不同规模的景观组合在一起，有时还会引领一种奇异的全球视角。第二是数据集偏差，摄影师有时会在照片顶部包括树叶。这种偏见有时会误导无限根去合成空中漂浮的岛屿。第三个问题是，与StyleGAN2相比，FID分数略有下降。这可能与视频合成[35]中的收敛问题有关，在该问题中，如果运动模块与图像模块联合训练，则生成器的性能较差。
论文链接：https://arxiv.org/pdf/2104.03963.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -