交替增强的语义分割和图像去噪的协同作用

重磅干货,第一时间送达

小白导读

论文是学术研究的精华和未来发展的明灯。小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容。个人能力有限,理解难免出现偏差,建议对文章内容感兴趣的读者,一定要下载原文,了解具体内容。

摘要

由于输入图像存在噪声,可能会降低图像的语义分割能力,但在分割前先进行图像去噪是有帮助的。随着深度学习的发展,图像去噪和语义分割都得到了长足的发展。因此,作者对它们之间的协同作用感兴趣,通过使用一个整体的深度模型。作者观察到去噪不仅有助于对抗由于噪声导致的分割精度下降,而且像素级语义信息也提高了去噪的能力。然后,作者提出了一种增强网络交替进行去噪和分割。该网络由多个分割和去噪块(SDBs)组成,每个块估计语义图,然后利用语义图进行正则化去噪。实验结果表明,去噪后的图像质量显著提高,分割精度接近纯净图像。

论文创新点

综上所述,作者在本文中做出了以下贡献:

  • 作者研究了在有噪声的图像上进行语义分割的问题,并提出利用去噪来对抗由于噪声而导致的分割精度下降。噪声图像是影响图像性能下降的一个常见因素。因此,作者的方法是有用的现实图像分割。

  • 作者提出利用语义分割结果作为额外条件对图像去噪网络进行正则化。作者验证了额外的信息有助于提高图像去噪的能力。去噪后的图像不仅视觉质量得到了改善,分割感知的去噪图像也能得到更好的分割。

  • 作者提出了一种替代的增强网络来利用去噪和分割之间的协同效应。在不同噪声条件下的城市景观[7]和户外seg[34]数据集上的实验结果表明了该方法的优越性。

框架结构

(a)先去噪后分割;(b)分割后去噪;(c)提出的分割和去噪交替增强网络(sabn),它是一系列分割和去噪块(SDBs)的拼接。y, s, x分别代表有噪图像,分割(概率)图,去噪图像。

实验结果

噪声水平σ = 50时DMS[20]和作者方法的分割结果

最上面一行:城市景观集的一张图片;下面一行:一张来自户外的照片。

噪声水平σ = 50时ddfn3[5]的去噪结果和作者的方法

最上面一行:城市景观集的一张图片;下面一行:一张来自户外的照片。

结论

作者通过使用一个整体的深度模型来探索图像去噪和语义分割之间的协同作用,该模型是一个级联的SDBs。从实验中作者发现,随着单元数的增加,去噪和分割都有明显的改善。特别是,增强的好处不仅是连续降噪,而且是连续的分割模块。在boosting过程中,分割提高了去噪性能,去噪有助于提高分割精度。

论文链接:https://arxiv.org/pdf/2102.12095.pdf

每日坚持论文分享不易,如果喜欢我们的内容,希望可以推荐或者转发给周围的同学。

- END -

#投 稿 通 道#

 让你的论文被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体,缩短读者寻找优质内容的成本呢?答案就是:你不认识的人。

总有一些你不认识的人,知道你想知道的东西。深度学习爱好者 或许可以成为一座桥梁,促使不同背景、不同方向的学者和学术灵感相互碰撞,迸发出更多的可能性。

深度学习爱好者 鼓励高校实验室或个人,在我们的平台上分享各类优质内容,可以是最新论文解读,也可以是学习心得技术干货。我们的目的只有一个,让知识真正流动起来。

📝 来稿标准:

· 稿件确系个人原创作品,来稿需注明作者个人信息(姓名+学校/工作单位+学历/职位+研究方向)

· 如果文章并非首发,请在投稿时提醒并附上所有已发布链接

· 深度学习爱好者 默认每篇文章都是首发,均会添加“原创”标志

(0)

相关推荐

  • 你读那么多CV论文有什么用,还不如我复现 1 篇!

    深度之眼招募人工智能Paper讲师,兼职时间一年可赚30w,招聘详情见文章底部. 学计算机视觉千万不能错过图像分割! 它是图像理解领域关注的一个热点! 是图像分析的第一步! 是图像理解的基础,也是图像 ...

  • 分割、检测与定位,高分辨率网络显神威!这会是席卷深度学习的通用结构吗?

    52CV曾经第一时间报道过CVPR2019 | 微软.中科大开源基于深度高分辨表示学习的姿态估计算法,此后该文引起不少媒体的关注. 当时CV君发现,该论文<Deep High-Resolutio ...

  • 一文速览ECCV那些乘风破浪的华人学者

    ECCV 2020 论文已发布,本届 ECCV 共收到有效投稿 5025 篇,接收 1361 篇,接受率约为 27%,若去除 104 篇 oral 论文,接受率约为 25%.而相比计算机视觉的另一顶会 ...

  • 大盘点 | 2020年5篇图像分割算法最佳综述

    作者丨cynthia yawain 编辑丨极市平台 本文为极市平台原创整理. 极市导读 本文为我们对2020年全部计算机视觉综述论文分方向梳理第二篇,图像分割方向.内容包含2014-2020年图像分割 ...

  • 基于超点图的大规模点云分割

    本期介绍一篇基于大规模点云的语义分割相关论文<Large-scale Point Cloud Semantic Segmentation with Superpoint Graphs> 本 ...

  • 用于半监督语义分割的基于掩码的数据增强

    重磅干货,第一时间送达 小白导读 论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 基于自监督深度估计的领域自适应语义分割

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • Transformer在语义分割上的应用

    作者:晟沚 前  言 语义分割方法主要采用具有编码器-解码器体系结构的全卷积网络(FCN).编码器逐渐降低空间分辨率,并通过更大的感受野学习更多的抽象/语义视觉概念.由于上下文建模对于分割至关重要,因 ...

  • 憨批的语义分割重制版6——Pytorch 搭建自己的Unet语义分割平台

    注意事项 学习前言 什么是Unet模型 代码下载 Unet实现思路 1.训练文件详解 2.LOSS解析 1.主干网络介绍 2.加强特征提取结构 3.利用特征获得预测结果 一.预测部分 二.训练部分 训 ...

  • 主动边界丢失语义分割

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • Toronto-3D:用于城市道路语义分割的大规模移动激光雷达数据集

    文章:Toronto-3D: A Large-scale Mobile LiDAR Dataset for Semantic Segmentation of Urban Roadways 作者:Wei ...

  • Superevents:面向基于事件的摄像机的原生语义分割

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 用Transformer进行图像语义分割,性能超最先进的卷积方法!

    重磅干货,第一时间送达 丰色 发自 凹非寺 报道 | 量子位 正如大家所知,在进行图像语义分割时,图像被编码成一系列补丁后往往很模糊,需要借助上下文信息才能被正确分割. 因此上下文建模对图像语义分割的 ...

  • 基于GAN的自动驾驶汽车语义分割

    重磅干货,第一时间送达 语义分割是计算机视觉中的关键概念之一,语义分割允许计算机通过按类型对图像中的对象进行颜色编码.GAN建立在基于真实内容的基础上复制和生成原始内容的概念上,这使它们适合于在街景图 ...