NeurIPS2019评审结果出炉 看近五年高引论文TOP10谁家上榜!

昨日,机器学习领域的顶级会议NeurIPS(Conference and Workshop on Neural Information Processing Systems)公布了2019年的论文接收结果。

据统计,大会最初收到的论文摘要提交量为9185篇,但最终符合提交要求的论文数量为6743篇,相比2018年的4854篇提升了将近40%,再次刷新历史记录。最终,1428篇论文被接收,接收率达到21.17%(略高于去年的20.8%)。在接收的论文中,还有36篇Oral论文和164篇Spotlight论文。

在论文评审结果出炉后,很多提交者和研究者都进行了讨论,大家对大部分审稿人、程序主席的评审工作都非常满意,即使是论文没有被接收的研究者,也表示从评审中学到了很多。看来今年的录取结果也算是让众人“心服口服”。

除了几近疯狂的投稿量,近年来想去NeurIPS参会也是一票难求,去年门票开售仅10分钟就被疯抢一空,堪比春运现场,引来机器学习圈子各路吐槽。

今年,NeurIPS2019将于12月8日在加拿大温哥华会议中心举行,相比与往年的“先到先得”,大会组织者更改了今年的门票预售规则,将以 “抽奖”为原则,也就是去年大家还能拼手速,而今年完全就要靠人品和运气了。

主办方开放的注册时间就在明晚8点,想参会的同学,考验人品的时刻到了……

NeurIPS为什么这么火?

作为AI领域最重要的顶会,诞生自1987的NeurIPS( NIPS),最初被设计为研究探索生物和人工神经网络的互补性开放跨学科会议,早年间并没有如此火爆。

随着近几年深度学习的崛起,NeurIPS不仅成为了学术界的新星,也引起了工业界的高度关注,注册人数从数年前的几百人跃升到去年近万人。

在各种学术会议统计中,NeurIPS一直有着很强的影响力和排名,被认为是神经计算方面最好的会议之一。在CCF和清华的计算机学科推荐列表中均被评为A类会议。

根据AMiner大数据平台的统计分析,通过对近五年来各类会议的h5指数 、cit_med 、10H、avg_pub等指标的综合计算,NeurIPS的H5指数为149,10H值为34641,在人工智能方向排名第二。

早期NeurIPS会议的研究主题范围很广,包括从解决纯工程问题到使用计算机模型作为了解生物神经系统的工具等等。之后,生物和人工系统的研究发生了分化,近年来的NIPS 大会一直以机器学习、人工智能和统计学论文为主。

根据以下关键词云图可以看出,近五年来的NeurIPS大会关键词主要有人工智能、推荐系统、kaczmarz算法、强化学习、图表示学习等。

通过对五年来NeurIPS接收论文中所有学者信息的提取,我们分析了这些学者的性别比例、国籍分布与语言分布情况。

可以看出,NeurIPS的投稿学者主要以男性为主,占比94.4%,女性学者占比5.6%。从学者分布情况来看,投稿学者主要来自美国、加拿大,分别占比40%、20%,英国、中国学者分别占比13.3%。从语言分布情况来看,投稿学者主要以英语为主,中文第二,希腊语第三。

(会议更多统计数据可查看:https://www.aminer.cn/conference/53a728e520f7420be8bbc4bb

根据对近五年论文引用量的统计,AMiner对NeurIPS的十大高引论文进行了排名。

高引论文TOP1是发表于2015年的《Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks》一文,引用量高达9790次,作者是来自微软研究院的Shaoqing Ren, Kaiming He, Ross B. Girshick, Jian Sun。

论文地址:https://arxiv.org/pdf/1506.01497v2.pdf

该文主要介绍了基于region proposal算法来假设目标的位置,诸如SPPnet和Fast R-CNN所取得的进步已经减少了这些检测网络的运行时间,但也揭露了region proposal的计算是一个瓶颈。作者发现基于region的detector(如Fast R-CNN)的卷积feature map也可以用于生成region proposals,它与检测网络共享完整的图像卷积特征,从而实现几乎无成本的区域建议。RPN是一个全卷积网络,可以进行端到端训练,生成高质量的region proposals,然后送入Fast R-CNN进行检测。文中的方法通过共享卷积特征进一步将RPN和Fast R-CNN整合成一个网络,并提出了一种训练机制:在保持proposal固定的情况下,交替微调region proposal和object detection。文中的方法使用了deep VGG-16模型,并且该检测系统在GPU上获得了每秒5张图像的速度,在PASCAL VOC 2007、2012以及MS COCO数据集中获得了最佳的目标检测准确率。

高引论文TOP2是《Generative Adversarial Nets》,作者是来自谷歌与蒙特利尔大学的Ian J. Goodfellow, Jean Pouget-Abadie, Mehdi Mirza, Bing Xu, David Warde-Farley, Sherjil Ozair, Aaron C. Courville, Yoshua Bengio。

论文地址:https://www.aminer.cn/archive/5550415a45ce0a409eb3a87b

该文主要提出了一种新的模型——生成对抗模型。该模型训练了两个相互对抗的网络,一个是训练一个生成器(Generator),另一个是训练一个判别器(Descriminator)。这两个网络是相互对抗的,生成器的目的是尽量产生接近真实图片的生成图片,其衡量标准就是判别器,生成器要让判别器无法判断一张图片是来自真实图像的分布还是是由生成器学习到的分布。在任意函数G和D中,存在一个唯一的解,它覆盖了训练数据的分布,并且在所有地方都是相等的。通过对生成的样本进行定性和定量评估,实验证明了该框架的潜力。

高引论文TOP3是《Sequence to Sequence Learning with Neural Networks》 ,作者是谷歌的Ilya Sutskever、 Oriol Vinyals、Quoc V. Le。

论文地址:https://www.aminer.cn/archive/5550410f45ce0a409eb384f8

深度神经网络(DNNS)在2014年之前已经被证明可用于各种复杂的学习任务,并且均被证实其可行性及高准确率。但是其有一个弊端,即它需要有足够的标注数据,因此其并不适用于去做序列到序列的映射任务(map sequences to sequences)。本论文提出了一种端到端(end-to-end)的神经网络模型,来学习这种映射关系。作者用一个多层的LSTM网络来将输入序列映射(编码)为一个固定大小纬度的向量,再用另外一个多层的LSTM网络来解码该向量为输出序列。为了论证该模型的可行性,作者将其应用于英语-法语的翻译任务,最终发现其所能达到的效果与当时最好的成绩(可能是某一种SMT,统计机器翻译模型)相差无几。最后,作者对模型以及实验结果进行分析以后,还发现几个有趣的点。1)模型对句子的主动与被动语态并不敏感,但是对输入词的顺序很敏感。2)倒序输入句子能提升模型效果。

NeurIPS的明星人物

Oriol Vinyals

通过AMiner的数据分析,我们发现,有一位学者在2014-2018年的五年间,分别以第一作者身份发表过4篇论文,以二、三作者身份发表过四篇论文,并且这些文章均在NeurIPS高引论文TOP100榜单。

Oriol Vinyals究竟是谁?或许有些人对他感到陌生,但有一群人很早就听过他的大名,年少时,他曾是西班牙《星际争霸》游戏排名第一的电竞高手。Google Gmail、图像识别服务出自于他写下的程序,他还开发过一个AI机器人,可以和你畅谈人生。2016年,他拿下了 MIT TR35 大奖,名列全球 35 位最具创新力年轻人之一。

从西班牙的加泰隆尼亚理工大学(University of Catalonia)完成电信工程及数学双学位之后,Oriol Vinyals前往美国进修,在卡内基梅隆大学机器人学院完成了机器学习和电脑视觉的学位论文,接着又到加州大学圣地亚哥分校,取得了计算机科学及工程硕士学位,2009年进入加州大学伯克利分校攻读电机及电脑科学博士,他还参与了伯克利的Overmind 计划。

Oriol Vinyals目前是谷歌 DeepMind 研究科学家,此前在 Google Brain 工作时,机器学习、神经网络、强化学习领域都有他提出的新式研究方法。而现在,他似乎要与全人类为敌,正在领导 DeepMind 在《星际争霸Ⅱ》游戏中击败人类选手。

Jiajun Wu

我们还发现了另一位明星学者,他出现在2016年与2017年NeurIPS高引学者TOP20榜单中。2016年,他分别以第一作者和第二作者身份发表过2篇论文;2017年,发表4篇论文,其中以第一作者身份发表2篇;2018年也有5篇论文见于NeurIPS。

他就是“清华学神”、MIT博士生吴佳俊,他将于2020年加入斯坦福大学担任计算机科学助理教授。

吴佳俊曾是清华大学交叉信息研究院2010级本科生,也是“姚班”即清华大学计算机科学实验班的学生。他在 CVPR、NeurIPS、ECCV、PAMI 等会议和期刊上发表过多篇论文,并曾在微软、Facebook和百度的研究实验室实习,研究兴趣主要是在计算机视觉机器学习和计算认知科学的交叉。

在2017年的NeurIPS大会上,吴佳俊与他的导师发表了四篇论文,探讨了智能体需要哪些基本认知能力才能够探索世界,其中就包括辨别不同的物体,并且推断该物体将会对施加于其的物理量做出怎样的反应。其中三篇论文讨论了如何能从视觉和听觉数据中推断出物体的物理结构,另一篇则讨论了如何在上述数据的基础上预测物体的表现。

(0)

相关推荐