通过现实模糊去模糊
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
现有的图像去模糊深度学习方法通常使用尖锐图像和模糊图像对训练模型。然而，合成模糊图像并不一定能在真实世界场景中获得足够的精度。为了解决这一问题，作者提出了一种结合两种GAN模型的新方法，即学习模糊GAN (BGAN)和学习去模糊GAN (DBGAN)，通过主要学习如何模糊图像来学习更好的图像去模糊模型。第一个模型，BGAN，学习如何用未配对的尖锐和模糊图像集模糊尖锐图像，然后指导第二个模型，DBGAN，学习如何正确地去模糊这些图像。为了减少真实模糊和合成模糊之间的差异，作者利用了相对模糊损失。作为一个额外的贡献，本文还介绍了一个真实世界的模糊图像(RWBI)数据集，包括各种模糊图像。实验结果表明，该方法在新提出的数据集和公共GOPRO数据集上均获得了较高的量化性能和感知质量。
本文的贡献有三方面:
(1)提出了一种新的图像去模糊框架，该框架包括图像模糊处理和图像去模糊两部分。与以往的深度学习方法相比，作者的框架还考虑了图像模糊，生成真实的模糊图像，有助于提高图像去模糊的性能和鲁棒性。
(2)为了训练BGAN模型并生成与现实世界相似的模糊图像，引入了相对论性模糊损失。作者还提供了一个真实世界的模糊数据集RWBI，它可以用于训练图像模糊模块和评估去模糊模型。
(3)实验结果表明，该方法不仅在GOPRO基准上达到了最先进的量化性能，而且在真实世界的模糊图像上始终保持着优越的感知质量。
框架结构
提出的框架和培训过程。该框架包含两个主要模块，一个BGAN和一个DBGAN。D和G分别表示鉴别器网络和发生器网络。DBGAN以清晰的图像作为输入输出真实的模糊图像，然后输入到DBGAN中学习去模糊。在推理阶段，只有DBGAN被应用。
相对论模糊损失(RBL)的一个例子。真实图像和合成图像分别标记为1和0。(a)使用传统的损耗函数更新发生器，生成与真实图像(标签=1)相似的模糊图像(标签=0)。(b) RBL不仅增加了生成的图像看起来真实的概率(0 0.5，标记为Push)，同时也降低了输出真实图像是真实的概率(1 0.5，标记为Pull)。(c)为了增加模糊图像的变化，使用不同的模糊图像对现实世界中不同类型的模糊进行建模。
实验结果
合成模糊的图像。由提议的BGAN创建的不同模糊图像的例子。第一列显示输入的尖锐图像，接下来的三列是产生的模糊图像，用于训练DBGAN(+)
定性的消融效果。由提出的框架与不同的模型结构产生的去模糊图像的例子。第一列显示输入的模糊图像，接下来三列分别是DBGAN(-)、DBGAN和DBGAN(+)生成的去模糊图像。
与最先进的去模糊方法的比较。从左到右:模糊图像，Nah等[21]，Tao等[36]结果，提出的DBGAN(+)方法。在放大的补丁中可以清楚地看到改进。
与[6]进行比较，[6]使用额外的图像对进行训练。
对真实世界的模糊图像的性能比较。从左到右:模糊图像，Nah等[21]，Tao等[36]结果，提出的DBGAN(+)方法。在放大的补丁中可以清楚地看到改进。
结论
本文提出了一种新的框架，该框架首先通过学习模糊GAN (learning-to-blur GAN, BGAN)模块学习如何将尖锐图像转换为真实模糊图像。该框架训练学习去模糊GAN (DBGAN)模块，学习如何从模糊图像恢复清晰图像。与之前的工作相比，作者的方法只专注于学习去模糊，学习现实地合成模糊效果使用未配对的尖锐和模糊图像。为了生成更真实的模糊图像，采用了相对模糊损失来帮助BGAN模块减少合成模糊和真实模糊之间的差距。此外，还建立了RWBI数据集来帮助训练和测试去模糊模型。实验结果表明，作者的方法不仅产生了始终优越的感知质量的结果，而且在数量上优于现有的方法。
论文链接：https://arxiv.org/pdf/2004.01860.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。