趋势分析|清华大学AMiner大数据带你进入深度神经网络的未来
AMiner全新功能技术趋势分析Trend analysis(http://trend.aminer.cn)基于AMiner 2亿篇论文数据进行深入挖掘,包括对技术来源、热度、发展趋势进行研究,进而预测未来的技术前景。
技术趋势分析描述了技术的出现、变迁和消亡的全过程,可以帮助研究人员理解领域的研究历史和现状,快速识别研究的前沿热点问题。
我们目前已发布了25期分析内容,具体如下:
深度神经网络(Deepl Neural Networks, DNN)从字面上理解就是深层次的神经网络。自从Hinton和Salakhutdinov在《Science》上发表的论文解决了多层神经网络训练的难题后,随着研究的深入,各种深度神经网络模型如雨后春笋般涌现出来。
2012年Krizhevsky等人设计的包含5个卷积层和3个全连接层的AlexNet,并将卷积网络分为两个部分在双CPU上进行训练;2014年Google研发团队设计的22层GoogleNet;同年牛津大学的Simonyan和Zisserman设计出深度为16-19层的VGG网络;2015年微软亚洲研究院的何凯明等人提出了152层的深度残差网络ResNet,最新改进后的ResNet网络深度可达1202层;2016年生成式对抗网络GAN获得广泛关注。
热度变化图
下面我们将用Trend analysis分析该领域内的研究热点。
(点击文末阅读原文或复制链接https://trend.aminer.cn/topic/trend?query=Deep%20Neural%20Network%20至浏览器打开即可进入深度神经网络趋势分析)
通过Trend analysis的分析挖掘结果我们可以看到,当前该领域的热点研究话题如下:
featureextraction
speech recognition
face recognition
informationretrieval
object recognition
cell cycle
等等......
近年来,深度神经网络由于优异的算法性能,已经广泛应用于图像分析、语音识别、目标检测、语义分割、人脸识别、自动驾驶、生物医学等领域,而根据分析结果可知语音识别是该领域热门研究话题top 1。
深度神经网络在工业界也得到了广泛的应用,Google、Facebook、Microsoft、IBM、百度、阿里巴巴、腾讯、科大讯飞等互联网巨头也纷纷开展深度神经网络的研究工作,并且成功应用于谷歌Now、微软OneNote手写识别、Cortana语音助手、讯飞语音输入法等。
5位代表学者
DongYu (俞栋)
Tara N.Sainath
Brian Kingsbury
Yoshua Bengio
Bhuvana Ramabhadran
5篇代表论文
深度神经网络领域相关性最高的5篇论文如下(按目前引用量排名):
会议/期刊:IEEE Signal Process. Mag., pp. 82-97, 2012.
年份:2012年
作者:Geoffrey E Hinton, Li Deng, Dong Yu, George E Dahl, Abdelrahman Mohamed,Navdeep Jaitly, Andrew W Senior, Vincent Vanhoucke, Patrick Nguyen, Tara N Sainath,and Brian Kingsbury.
会议/期刊:Nature, Volume 529, Issue 7587, 2016, Pages 484-489.
年份:2016年
作者:Silver David, Huang Aja, Maddison Chris J, Guez Arthur, Sifre Laurent, vanden Driessche George, Schrittwieser Julian, Antonoglou Ioannis, PanneershelvamVeda, Lanctot Marc, Dieleman Sander, Grewe Dominik, Nham John, KalchbrennerNal, Sutskever Ilya, Lillicrap Timothy, Leach Madeleine, Kavukcuoglu Koray,Graepel Thore, and Hassabis Demis.
会议/期刊:computer vision and pattern recognition, Volume abs/1202.27452012
年份:2012年
作者:Ciresan.D, Meier.U,and Jürgen Schmidhuber.
会议/期刊:NIPS,pp.3320-3328,2014
年份:2014年
作者:Jason Yosinski, Jeff Clune, Yoshua Bengio, and Hod Lipson
会议/期刊:Neural Networks, pp. 333-338, 2012
年份:2012年
作者:Dan C. Ciresan, Ueli Meier, Jonathan Masci, and Jürgen Schmidhuber.