前白平衡网用于单幅图像大气光估计去雾的色移校正
重磅干货，第一时间送达
小黑导读
论文是学术研究的精华和未来发展的明灯。小黑决心每天为大家带来经典或者最新论文的解读和分享，旨在帮助各位读者快速了解论文内容。个人能力有限，理解难免出现偏差，建议对文章内容感兴趣的读者，一定要下载原文，了解具体内容。
摘要
近年来，基于大气散射模型(ASM)的单幅图像去雾深度模型取得了显著的效果。但是这些模型的去雾输出会受到颜色变化的影响。对ASM模型的分析表明，将大气光因子(ALF)设置为一个标量，表明ALF对整幅图像是恒定的。然而，对于真实世界拍摄的图像，由于光照不是均匀分布在整个图像上，导致模型不匹配，使用ASM可能导致深层模型的颜色偏移。考虑到这一点，本研究首先提出了一种新的非均匀大气散射模型(NH-ASM)，以改进复杂光照条件下拍摄的模糊图像的图像建模。其次，设计了一种新的基于U-Net的前白平衡模块(FWB-Module)，在通过大气光估计产生去雾结果之前纠正色移。第三，创新性地开发了一种新的FWB损耗来训练FWB模块，对颜色偏移进行惩罚。最后，基于NH-ASM和front white balance技术，开发了一种端到端基于CNN的色移抑制去雾网络，称为FWB-Net。实验结果表明，作者所提出的FWB-Net对合成图像和真实图像去雾的有效性和优越性。
(1)提出了一种非均匀大气散射模型(NH-ASM)，该模型将大气光因子与图像中的像素指数相关联。它能更好地表达真实世界朦胧场景的成像规律。
(2)提出了一种新的像素级大气光估计模块，有效地限制了去雾过程的全局色移。它被称为前白平衡模块(FWB-Module)，因为它在产生去雾结果之前扮演着与白平衡类似的角色。
(3)作者提出了一个新的训练FWB-Module的损失函数，称为FWB-Loss。在去雾效果中，可以对颜色偏移进行惩罚，以保持物体的原始颜色。
(4)作者提出了一种基于端到端CNN的去雾网络，称为FWB-Net，它采用了FWB-Module和FWB-Loss。在合成数据库和真实世界模糊数据库上的实验结果为作者提出的方法的有效性提供了有力的支持。
框架结构
根据NH-ASM，朦胧图像I与大气光图a之间存在像元对像元的线性映射关系，适合采用编解码器模型对这种映射建模。具体来说，作者使用U-Net架构，在编码器和解码器之间有多尺度的跳跃连接。作者的框架如图2所示，它由两个主要单元组成:第一个是4级编码单元，负责提取输入图像的多尺度潜在表示;第二种是4级译码单元，存在瓶颈，且卷积层移位。在作者的编码器和解码器的第一层，卷积层有24个通道。对于后续的每一层，通道数量将增加一倍(即第4层每一卷积层有192个通道)。该模块可以学习模糊图像与大气光因子的映射关系，得到像素级大气光图。由于图像中的漫射色移可以认为是成像的照明具有彩色。大气光估计模块可以抑制光照颜色对除雾结果造成的全局畸变，具有与白平衡相似的效果。此外，该模块已经在生成去雾结果之前纠正了色移，而不是传统的白平衡技术，即在创建图像后调整颜色。因此，作者称之为前白平衡模块(FWB-Module)。
实验结果
对于基于cnn的方法来说，充足的训练数据是必不可少的，但由于很难同时收集同一场景的干净和模糊图像，真实世界的去雾数据库非常稀缺。许多方法，如AOD-Net[8]，使用ASM[1]来合成去雾数据集。按照惯例，作者使用NYU-Depth-v2[16]来合成作者的数据集。NYU-Depth-v2提供了1449张清晰的图像及其相应的深度信息。参照NH-ASM，设置β=0.35，作者分别使用1000张图像和449张图像创建训练集和测试集。
同时，作者将每张图像的基本大气光因子随机设置在0.3 ~ 1.5之间，并对每个像素的大气光因子施加小于20%的随机扰动。利用该方法合成了每张合成的模糊图像的非均匀大气光图。
在训练过程中，作者分别使用FWB-Loss和MSE loss对前白平衡模块(FWB-Module)和估计传输模块(ETM)进行训练，训练的前提是地面真实大气光图和传输图的监督。然后，在ground truth无雾图像的监督下，利用MSE损失对整个FWB-Net进行训练。在SGD算法[17]的帮助下，作者用100次迭代并行训练FWB-Module和ETM，再用100次迭代训练整个网络，然后重复这个循环，直到FWB-Module、ETM和FWB-Net全部收敛。在测试阶段，将模糊图像输入到模型中，使用干净的图像进行评估。
结论
本文首先提出了一种新的非均匀大气散射模型(NH-ASM)来精确模拟真实雾景中复杂的光照条件。然后，作者分别设计了一种新的前白平衡模块(FWB-Module)和它独有的训练损失功能(FWB-Loss)。FWB-Module可以通过估算大气光因子来校正去雾结果的色移。FWB-Loss在训练FWB模块时对颜色偏移进行惩罚。作者进一步结合FWBModule和FWB-Loss组成一个统一的去雾网络FWB-Net，在去雾的同时抑制颜色漂移。实验结果表明，该方法能够在不发生色移的情况下获得良好的去雾效果。
论文链接：https://arxiv.org/ftp/arxiv/papers/2101/2101.08465.pdf
每日坚持论文分享不易，如果喜欢我们的内容，希望可以推荐或者转发给周围的同学。
- END -
#投 稿 通 道#
让你的论文被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。深度学习爱好者 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
深度学习爱好者 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学习心得或技术干货。我们的目的只有一个，让知识真正流动起来。
📝 来稿标准：
· 稿件确系个人原创作品，来稿需注明作者个人信息（姓名+学校/工作单位+学历/职位+研究方向）
· 如果文章并非首发，请在投稿时提醒并附上所有已发布链接
· 深度学习爱好者 默认每篇文章都是首发，均会添加“原创”标志