【知识星球】Attention网络结构上新，聚焦才能赢

继续咱们的“网络结构1000变”板块，最近上新的内容主要是Attention机制相关的网络结构，即网络如何选择真正感兴趣的区域进行处理，下面是一个代表，更多请移步知识星球网络结构1000变板块。

有三AI知识星球-网络结构1000变

CBAM

以前介绍过的Dynamic Capacity Network，Perforated CNNs是从空间维度进行Attention，SENet是从通道维度进行Attention，而CBAM(

Convolutional Block Attention Module)则是同时从空间维度和通道维度进行Attention。

作者/编辑 言有三

通道方向的Attention通过通道内的空间关系获取，原理如下：

同时使用最大pooling和均值pooling算法，然后经过几个MLP层获得变换结果，最后分别应用于两个通道，使用Sigmoid函数得到通道的Attention结果。

空间方向的Attention通过通道之间的空间关系获取，原理如下：

首先将通道本身进行降维，分别获取最大池化和均值池化结果，然后拼接，再使用一个卷积层进行学习。

这两种机制，分别学习了“怎么看”，“以及看什么”，这样的两个模块可以很容易地嵌入到任何已知的框架中。

上表展示了将这个方法用于不同模型后的结果，可知道该模型和SENet性能相当，都显著提升了baseline的性能，尤其是较深的ResNet50和ResNet101。

转载文章请后台联系

侵权必究