【每周CV论文推荐】掌握残差网络必读的10多篇文章 / 开普饭

欢迎来到《每周CV论文推荐》。在这个专栏里，还是本着有三AI一贯的原则，专注于让大家能够系统性完成学习，所以我们推荐的文章也必定是同一主题的。

残差网络作为当今最成功的网络结构之一，今天就给大家推荐一些必读的文章，涵盖残差网络的由来，原理及其发展变种。

作者&编辑 | 言有三

1 残差机制的由来

残差连接的思想起源于中心化，Nicol N. Schraudolph[1]其实很早就将这样的思想拓展到了梯度的反向传播中，提出了shortcut connection技术。虽然文章不知名，但是大家还是应该了解。

文章引用量：较少

推荐指数：✦✦✦✧✧

[1] Schraudolph N. Accelerated gradient descent by factor-centering decomposition[J]. Technical report/IDSIA, 1998, 98.

2 早期残差网络探索

既然残差思想早就诞生了，不可能没有大佬注意这个问题，2012年的时候Raiko，LeCun等人就在论文[2]中更加细致地研究了shortcut connections对模型性能的影响。因为算力不够没有火起来，但这说明了大佬们是很敏感的。几年后与残差网络同时期还有一篇文章叫highway-network[3]，借鉴了来自于LSTM的控制门的思想，比残差网络复杂一点。

文章引用量：150+

推荐指数：✦✦✦✧✧

[2] Raiko T, Valpola H, LeCun Y. Deep learning made easier by linear transformations in perceptrons[C]//Artificial intelligence and statistics. 2012: 924-932.

[3] Srivastava R K, Greff K, Schmidhuber J. Training very deep networks[C]//Advances in neural information processing systems. 2015: 2377-2385.

3 深度学习与残差网络诞生

前面三篇是前菜，向前辈致敬，然后就是主菜残差网络了，不多说，才过了四年就26000多的引用量，太惊人了。

文章引用量：26000+

推荐指数：✦✦✦✦✦

[4] He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.

4 ResNet深度冗余性研究

在刚开始的时候大多数人认为残差网络有效是因为促进了梯度传播从而可以使用更深的模型，但是随着研究者的增加，大家并不满足于这个解释。其中非常具有代表性的一篇文章就是文[5]，它发现深层的残差网络可以看做是不同深度的浅层神经网络的ensemble，训练完一个深层网络后，在测试的时候随机去除某个网络层，并不会使得网络的性能有很大的退化，而对于VGG等网络来说则是致命的。虽然引用率依然不高，但却是非常好的工作，对之后的很多研究都有重要影响，相似的文章还有[6]。

文章引用量：290+

推荐指数：✦✦✦✦✦

[5] Veit A, Wilber M J, Belongie S. Residual networks behave like ensembles of relatively shallow networks[C]//Advances in neural information processing systems. 2016: 550-558.

[6] Huang G, Sun Y, Liu Z, et al. Deep networks with stochastic depth[C]//European conference on computer vision. Springer, Cham, 2016: 646-661.

5 ResNet结构对称性研究

一些研究表明残差网络的有效性是因为其非对称的结构减缓了神经网络的退化问题，这也是对其有效性机制的一个重要研究，大家可以以此篇文章作为起点。

文章引用量：较少

推荐指数：✦✦✦✦✧

[7] Orhan A E, Pitkow X. Skip connections eliminate singularities[J]. arXiv preprint arXiv:1701.09175, 2017.

6 预激活ResNet

由于主流的卷积神经网络都是卷积+BN+激活串接的方式，因此我们一般都不会去在意它们的顺序问题。但是对于残差网络这个顺序却会有影响，这也对后面的一些研究有指导意义。

文章引用量：2000+

推荐指数：✦✦✦✦✧

[8] He K, Zhang X, Ren S, et al. Identity mappings in deep residual networks[C]//European conference on computer vision. Springer, Cham, 2016: 630-645.

7 ResNet宽度问题

宽度和深度一直都是两个重要的维度，高效的网络有时候也需要在这两者之间进行折衷。那么宽度和深度到底谁更加重要，在残差网络结构上这个问题也有两篇重要的研究。

文章引用量：2000+

推荐指数：✦✦✦✦✦

[9] Zagoruyko S, Komodakis N. Wide residual networks[J]. arXiv preprint arXiv:1605.07146, 2016.

[10] Xie S, Girshick R, Dollár P, et al. Aggregated residual transformations for deep neural networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 1492-1500.

8 更多的连接

假如进一步将残差连接的思想发挥到极致，把所有层都与其他所有层相连，就可以得到DenseNet。假如连接是双向的，就是CliqueNet。它们都是比原始的残差网络更加高效的设计，非常有用。

文章引用量：4000+

推荐指数：✦✦✦✦✦

[11] Huang G, Liu Z, Van Der Maaten L, et al. Densely connected convolutional networks[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2017: 4700-4708.

[12] Yang Y, Zhong Z, Shen T, et al. Convolutional neural networks with alternately updated clique[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018: 2413-2422.

残差网络相关的文章实在是太多了，这里只能列举一个比较合适的学习路线，如果你想要了解更多，可以到有三AI知识星球交流。