【每周CV论文推荐】 初学者必须精读的5篇深度学习优化相关文章

欢迎来到《每周CV论文推荐》。在这个专栏里,还是本着有三AI一贯的原则,专注于让大家能够系统性完成学习,所以我们推荐的文章也必定是同一主题的。

从事深度学习岗位,扎实的深度学习理论基础是必须掌握的,在前面我们已经给大家推荐过入门必须的模型结构相关的文章,今天给大家推荐必须精读的优化技术相关的文章。

作者&编辑 | 言有三

1 Xavier初始化方法

早期的深层神经网络就是被卡在了初始化上,xavier是一个非常有效的初始化方法,它的来龙去脉自然是需要仔细了解。

文章引用量:6000+

推荐指数:✦✦✦✦✦

[1] Glorot X, Bengio Y. Understanding the difficulty of training deep feedforward neural networks[C]//Proceedings of the thirteenth international conference on artificial intelligence and statistics. 2010: 249-256.

2 ReLU函数

简单而不光滑的ReLU为何开始取代sigmoid等激活函数,它为何有效,不需多说,基本上一直都被问。

文章引用量:4000+

推荐指数:✦✦✦✦✦

[2] Glorot X, Bordes A, Bengio Y. Deep sparse rectifier neural networks[C]//Proceedings of the fourteenth international conference on artificial intelligence and statistics. 2011: 315-323.

3 Dropout正则化技术

Dropout是AlexNet网络成功训练必不可缺少的工程技术,也是极为强大的正则化技术,在深度学习优化技术中举足轻重。

文章引用量:13000+

推荐指数:✦✦✦✦✦

[3] Srivastava N, Hinton G, Krizhevsky A, et al. Dropout: a simple way to prevent neural networks from overfitting[J]. The journal of machine learning research, 2014, 15(1): 1929-1958.

4 池化与步长

池化的思想和应用早就随着卷积而诞生,但是现在我们常常用带步长的卷积去替代池化,为什么呢?它们的对比究竟如何。

文章引用量:1400+

推荐指数:✦✦✦✦✧

[4] Springenberg J T, Dosovitskiy A, Brox T, et al. Striving for simplicity: The all convolutional net[J]. arXiv preprint arXiv:1412.6806, 2014.

5 BN的提出

BN之强大,人尽皆知,不管你读过多少资料解读,这原文都是需要精读的。

文章引用量:11000+

推荐指数:✦✦✦✦✦

[5] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[J]. arXiv preprint arXiv:1502.03167, 2015.

鉴于理论文章读起来难度要高不少,本周就只推荐5篇,深度学习优化相关的内容这还只是前菜,希望大家提前做好准备。

6 如何获取文章与交流

找到有三AI开源项目即可获取。

https://github.com/longpeng2008/yousan.ai

文章细节众多,阅读交流在有三AI知识星球中进行,感兴趣可以加入。

总结

以上就是初入深度学习领域必读的理论相关的文章,下一期我们将介绍一些训练和测试数据使用技巧相关的文章。

转载文章请后台联系

侵权必究

(0)

相关推荐