趋势分析之深度学习
AMiner全新功能技术趋势分析Trend analysis(http://trend.aminer.cn)基于AMiner 2亿篇论文数据进行深入挖掘,包括对技术来源、热度、发展趋势进行研究,进而预测未来的技术前景。技术趋势分析描述了技术的出现、变迁和消亡的全过程,可以帮助研究人员理解领域的研究历史和现状,快速识别研究的前沿热点问题。
我们目前已发布了6期分析内容,具体如下:
下面我们将用Trend analysis分析深度学习技术领域内的研究热点。(点击文末阅读原文即可进入Deep Learning Trend)
下图是当前该领域的热点技术趋势分析,通过Trend analysis分析挖掘可以发现当前该领域的热点研究话题Top10如下:
deep learning
neural network
speech recognition
feature extraction
hidden markov models
unsupervised learning
face recognition
restricted boltzmannmachines
boltzmann machine
deep neural network
根据Trend analysis的分析我们可以发现,该领域当前最热门的话题是deep learning,2009年开始deep learning的话题热度迅速上升,论文发表数量也在不断增加,尽管13年热度开始有所下降但论文发表数量仍然较大;hidden markov models和speech recognition的研究热度从2009年开始迅速上升成为领域内最热门的研究话题Top 2;变化幅度波动较大的face recognition则是在2005年-2009年近十年的期间内一度占据当时热门话题榜首,09年之后热度开始逐渐下降。
“深度学习三巨头”之一的Yoshua Bengio教授是机器学习大神之一,尤其是在深度学习领域,业内戏称他与同样活跃于加拿大的“神经网络之父”Geoffrey Hinton和“卷积网络之父”Yann LeCun为“加拿大黑手党”(Canadian Mafia)。Bengio的主要研究领域是深度学习(Deep Learning)和自然语言处理(Natural Language Processing)。在30余年的深度学习研究生涯里,他发表了300多篇学术论文,累计被引用次数超13.8万次。
Yoshua Bengio出生于巴黎,成长于加拿大,现居加拿大蒙特利尔,在蒙特利尔大学(University of Montreal)计算机科学与运算系任教授。他于1991年获得加拿大麦吉尔大学(McGill University)的计算机科学博士学位。
20世纪80年代,大学时期的Bengio对深度学习产生兴趣并正式进入人工智能研究领域。那时,深度学习还是一个非常冷门的领域。从1997年深蓝击败卡斯帕罗夫到2011年沃森赢得《危险边缘》,这中间经历了漫长的人工智能寒冬,Bengio曾感慨,很长一段时间里,几乎从来没有人深入挖掘它。但Bengio似乎沉浸其中,他建立了蒙特利尔学习算法研究所(Montreal Institute For Learning Algorithms, MILA)并担任科学主任,还构建起蒙特利尔的人工智能生态系统。他是加拿大统计学习算法研究主席,也在2009年担任了机器学习顶级会议NIPS的主席(General Chair)。
去年11月7日,Bengio教授曾受邀到清华作《深度学习AI迈向人类水平的挑战》主题讲座。在讲座中,Bengio教授表示目前的人工智能距离人类水平仍然十分遥远,当前人工智能在工业应用的成果主要是基于监督学习方法。人工智能仍然面临巨大挑战,即无法像人类一样自主理解外界、与环境交流。Yoshua深度探讨了深度学习模型的具体内容,如何实现对抽象特征的多层次学习,如何更好地进行表示学习,使用判别器优化信息间的独立性、相关性和熵,BabyAI框架等话题。
演讲视频如下(由于上传限制原因,视频分成2部分,愿大家谅解。)
第1部分
第2部分
深度学习目前已经成功应用于计算机视觉、语音识别、自然语言处理等领域,正潜移默化地改变着我们的生活方式。