【图像分割模型】多感受野的金字塔结构—PSPNet

这是专栏《图像分割模型》的第6篇文章。在这里,我们将共同探索解决分割问题的主流网络结构和设计思想。

在分割问题中,上下文信息与多尺度融合对于提高分割精度是十分有效的,今天我们就来谈谈用于实现这个目标的金字塔池化结构。

作者 | 孙叔桥

编辑 | 言有三

本期论文

《Pyramid Scene Parsing Network》

1 为什么要用金字塔结构提取特征

从本系列前面的文章我们已经了解到,对于分割任务而言,上下文信息的利用情况对于分割的效果是有明显影响的。这里我们就具体谈谈这个影响的原因。

通常来讲,我们判断一个东西的类别时,除了直接观察其外观,有时候还会辅助其出现的环境。比如汽车通常出现在道路上、船通常在水面、飞机通常在天上等。忽略了这些直接做判断,有时候就会造成歧义。比如下图中,在水面上的船由于其外观,就被FCN算法判断成汽车了。

从左到右分别为:图像、真值、FCN结果和PSPNet结果。

除此之外,由于金字塔结构并行考虑了多个感受野下的目标特征,从而对于尺寸较大或尺寸过小的目标有更好的识别效果。

从左到右分别为:图像、真值、FCN结果和PSPNet结果。

可见,同时考虑不同感受野下的上下文信息是十分必要的。下面我们就一起来具体看一下金字塔池化模型。

2 金字塔池化模型

尽管ResNet的感受野在理论上已经可以达到大于输入图像尺寸,但是Zhou等人也证明了CNN的经验感受野实际上比理论值小很多。因此,需要一个更有效的全局先验的描述方式。

下图是论文中提出的基于金字塔池化模型的网络结构。其中,虚线框出来的部分属于金字塔池化模型。

实验中分别用了1x1、2x2、3x3和6x6四个尺寸,最后用1x1的卷积层计算每个金字塔层的权重,再通过双线性恢复成原始尺寸。

最终得到的特征尺寸是原始图像的1/8。最后在通过卷积将池化得到的所有上下文信息整合,生成最终的分割结果。

此外,文中还应用了两个损失函数,分别用于约束主干分割网络和校正网络。以ResNet101为例,损失所处位置如下图所示。

3 实验结果

为了验证金字塔结构的有效性,PSPNet的作者对其进行了一系列的剥离实验。具体结果如下表所示:

ADE20K数据库下的分割结果:

下图是PASCAL VOC 2012数据库下的实验结果:

总结

本文我们了解了上下文信息整合的多尺度估计网络PSPNet和其中的金字塔池化模型。除了同种特征的堆叠,我们还可以利用多特征融合提升分割的效果。下期我们就一起来看一下ParseNet。

专栏作者招募

直播预告(点击图片跳转)

今日看图猜技术

有三AI生态

(0)

相关推荐

  • 经典的图像语义分割模型

         经典的基于 CNN 的图像语义分割模型有 FCN.SegNet.U-Net.PSPNet 和 DeepLab,主要针对 FCN.SegNet 和 DeepLab 三个经典模型进行简要介绍.  ...

  • PyTorch语义分割开源库semseg

    今天跟大家介绍一款新出的基于PyTorch的语义分割开源库semseg: https://github.com/hszhao/semseg 其开发者为香港中文大学的博士生Hengshuang Zhao ...

  • HIVE-Net:在显微镜图像中对线粒体进行分割

    点击上方"深度学习爱好者",选择加"星标"或"置顶" 重磅干货,第一时间送达 小白导读 论文是学术研究的精华和未来发展的明灯.小白决心每天为 ...

  • 深度神经网络的图像语义分割研究综述

    摘要 随着深度学习的迅速发展并广泛应用到语义分割领域,语义分割效果得到了显著的提 升.本文主要对基于深度神经网络的图像语义分割方法和研究现状进行了详细的综述.根据 网络训练方式的不同,将现有的方法分为 ...

  • 用Transformer进行图像语义分割,性能超最先进的卷积方法!

    重磅干货,第一时间送达 丰色 发自 凹非寺 报道 | 量子位 正如大家所知,在进行图像语义分割时,图像被编码成一系列补丁后往往很模糊,需要借助上下文信息才能被正确分割. 因此上下文建模对图像语义分割的 ...

  • ​TransUNet:用于医学图像分割的强大变压器编码器

    重磅干货,第一时间送达 小白导读 论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • ContNet:为什么不同时使用卷积和变压器

    重磅干货,第一时间送达 小黑导读 论文是学术研究的精华和未来发展的明灯.小黑决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 利用U-Net上下文融合模块实现高效的手掌线分割

    重磅干货,第一时间送达 小白导读 论文是学术研究的精华和未来发展的明灯.小白决心每天为大家带来经典或者最新论文的解读和分享,旨在帮助各位读者快速了解论文内容.个人能力有限,理解难免出现偏差,建议对文章 ...

  • 【图像分割模型】全景分割是什么?

    这是专栏<图像分割模型>的第12篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 本文是专栏的最后一篇文章,见识过了分割任务中的大量模型,也了解了语义分割与实例分割,这 ...

  • 【图像分割模型】实例分割模型—DeepMask

    这是专栏<图像分割模型>的第11篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 本文介绍了用于实例分割任务的模型结构--DeepMask. 作者 | 孙叔桥 编辑 | ...

  • 【图像分割模型】BRNN下的RGB-D分割—LSTM-CF

    这是专栏<图像分割模型>的第10篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 深度信息的引入往往会给分割带来更好的结果.之前提到的ENet除了直接变成ReSeg分割 ...

  • 【图像分割模型】用BRNN做分割—ReSeg

    这是专栏<图像分割模型>的第9篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 尽管许多人都知道RNN在处理上下文上多优于CNN,但如何将RNN用于分割任务还是值得讨论 ...

  • 【图像分割模型】多分辨率特征融合—RefineNet

    这是专栏<图像分割模型>的第8篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. RefineNet,教你在实现特征融合与残差恒等映射的同时,怎么找回降下来的空间分辨率. ...

  • 【图像分割模型】全局特征与局部特征的交响曲—ParseNet

    这是专栏<图像分割模型>的第7篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 尽管多尺度融合.空洞卷积都可以增加网络的感受野,但理论感受野与实际感受野仍然存在差异.那 ...

  • 【图像分割模型】以RNN形式做CRF后处理—CRFasRNN

    这是专栏<图像分割模型>的第5篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 条件随机场有点复杂,那能不能用神经网络的方式搞定CRF后处理呢?今天我们一起看一看穿上R ...

  • 【图像分割模型】快速道路场景分割—ENet

    这是专栏<图像分割模型>的第4篇文章.在这里,我们将共同探索解决分割问题的主流网络结构和设计思想. 有了空洞卷积,这篇文章我们通过ENet看看在实际任务中,该怎么用好空洞卷积. 作者 | ...

  • 【图像分割模型】编解码结构SegNet

    这是专栏<图像分割模型>的第2篇文章.在这个专栏里,我们将共同探索解决分割问题的主流网络结构和设计思想. 上篇文章我们学习了分割网络鼻祖FCN,今天我们来看看用解码器踢馆的SegNet. ...