【NeurIPS100】NeurIPS2019高产华人作者都有谁？哪篇论文引用量最高，看这篇就够了！
你知道吗？在NeurIPS2019 4423位入选作者中，竟有1478位华人。那么，他们中哪些学者入选论文最多？又都有哪些大牛和新星上榜呢？
你知道吗？虽然距离NeurIPS论文最终提交日期仅过去半年时间，但很多论文竟已经有了引用量，而最高一篇引用量达209次，它究竟是哪篇论文呢？
你知道吗？NeurIPS2019一千多篇入选论文，大约共引用了14336+篇论文。这些论文都引自哪些会议呢？
作为机器学习的顶级会议，NeurIPS历来备受瞩目。那么，NeurIPS这些数据的背后，都隐藏着哪些你不知道的故事呢？
别急，以下内容告诉你答案！
高产华人作者都有谁？
在NeurIPS2019 4423位入选作者中，有1478位华人作者，占比达34%。其中，高产华人作者（发表3篇以上包括3篇）有79位。他们大多是国外高校或科研机构的教授，另外还有不少在读博士生上榜，比如普林斯顿大学的杨卓然，有7篇论文入选；还有三位都是普林斯顿大学Sanjeev Arora教授的学生。
而在国内高校任职的，比如北京大学王立威教授、南京大学周志华教授、旷视孙剑博士都榜上有名；另外国内也有不少青年学者上榜，比如中科院计算所副研究员许倩倩等。
在华人作者中，位居高产作者榜首的是悉尼大学的陶大程教授，他共有8篇论文入选。昨日他刚刚入选2019年ACM Fellow。他的H-index值高达100。
陶大程，是人工智能和信息科学领域国际知名学者、澳大利亚尤里卡（Eureka）奖获得者、深圳市优必选科技股份有限公司人工智能首席科学家、澳大利亚科学院院士。陶大程，2002年毕业于中国科学技术大学，2004年获得香港中文大学硕士学位，2007年获得英国伦敦大学博士学位。毕业后，他先后在中国香港理工大学计算机系、新加坡南洋理工大学担任助理教授，后到澳大利亚悉尼科技大学工程与信息技术学院担任教授，目前担任悉尼大学教授。
来自普林斯顿大学运筹学与金融工程系的博士生杨卓然有7篇论文入选。杨卓然于2015年获得清华大学数学学士学位，目前在普林斯顿大学攻读博士。他的研究方向是统计机器学习和增强学习，尤其在统计机器学习方面，他的研究从理论角度理解高维度非线性模型的统计和计算问题，同时还致力于将大规模算法和多Agent增强学习算法应用在机器人和AI游戏中。他曾于2015年和2018年获得Francis Robbins Upton Fellowship奖和Tencent Ph.D Fellowship奖，并在NeurIPS、ICML等顶级会议发表多篇论文。
美国西北大学Zhaoran Wang有6篇论文入选，而这些论文全部都与杨卓然合作发表。他是美国西北大学工业工程与管理科学系的助理教授，近五年来在NeurIPS共发表过21篇论文。
斯坦福大学计算机科学系博士后Yuanzhi Li有6篇论文入选。Yuanzhi Li本科毕业于清华大学，获得了计算机科学和数学学士学位。博士前往普林斯顿大学计算机科学系就读，师从Sanjeev Arora教授。他的研究方向为机器学习，目标是为机器学习问题设计有效且可验证的算法。
加州大学洛杉矶分校顾全全有6篇论文入选，从2012年以来他在NeurIPS共发表了16篇论文。
顾全全是加州大学洛杉矶分校计算机科学系的助理教授。他曾获得清华大学控制科学与工程理学硕士、自动化工程学士学位；2014年，他在伊利诺伊大学香槟分校获得计算机科学博士学位。他的研究方向为统计机器学习，重点研究和分析非凸优化算法在机器学习中的应用。他还是统计机器学习实验室的负责人。
百度认知计算实验室（Cognitive Computing Lab， CCL）主任李平博士有6篇论文入选。李平，博士毕业于斯坦福大学统计系，师从Trevor Hastie教授。加入百度前他曾经在康奈尔大学和罗格斯大学任教，是计算机系和统计系两个系的终身教授。他曾获得过美国空军杰出青年科学家奖（AFOSR-YIP）和美国海军杰出青年科学家奖（ONR-YIP）。他的研究主要集中在机器学习算法、高效检索、数据存储、数据流、推荐和自然语言理解等。他的研究论文曾经获得NIPS2014最佳论文奖、ASONAM2014最佳论文奖、KDD2006最佳学生论文奖。
微软亚洲研究院主管研究员秦涛博士有5篇论文入选。秦涛博士是中国科学技术大学兼职博士生导师，IEEE、ACM会员。他在国际会议和期刊上发表学术论文100余篇，曾任机器学习及人工智能方向多个国际大会领域主席或程序委员会成员。他的团队的研究重点是深度学习和强化学习的算法设计、理论分析及在实际问题中的应用。
刘铁岩博士5篇论文入选，他的H-index为52。刘铁岩，现任微软亚洲研究院副院长，领导微软亚洲研究院在机器学习领域的研究工作。刘铁岩是人工智能领域的国际知名学者， IEEE Fellow，美国计算机学会杰出会员（ACM Distinguished Member）。他还是卡内基梅隆大学（CMU）兼职教授，诺丁汉大学荣誉教授，清华大学、中国科学技术大学、南开大学兼职教授、博士生导师。
刘铁岩博士的先锋性工作促进了机器学习与信息检索之间的深度融合，被国际学术界公认为“排序学习”领域的代表人物，在网络搜索和计算广告学等方向取得了卓越的学术成果。他在该领域的学术论文已被引用万余次。他在深度学习、增强学习、分布式机器学习等方面也颇有建树，发表了百余篇学术论文。
杜少雷，共有5篇论文入选。他是普林斯顿高级研究所的博士后，师从Sanjeev Arora教授。他在卡内基梅隆大学获得计算机系博士学位，导师是著名的Aarti Singh教授和Barnabás Póczos教授。他的研究方向包括理论机器学习和统计学的主题，如深入学习、矩阵分解、转移学习、强化学习、非参数统计和鲁棒统计。2015年他获得了加州大学伯克利分校电子工程与计算机、工程数学和统计双学位。作为国际机器学习方向顶尖青年学者，他是Best Paper Award at ICML 2018 Workshop on Nonconvex Optimization获得者，2018 NeurIPS顶级会议 NVIDIA Pioneer Award 获得者，以及19篇计算机顶级会议论文发表者。他还曾在微软和Facebook的研究实验室工作过。
马腾宇共有5篇论文入选。马腾宇目前是斯坦福大学计算机科学和统计学助理教授。他的简历几乎是“别人家的孩子”模板，他是清华姚班2008级的毕业生，在普林斯顿大学获得计算机科学博士学位。在普林斯顿读博期间，马腾宇师从 Sanjeev Arora教授，他在国际顶级会议和期刊上发表高质量论文近 20 篇。马腾宇的研究兴趣广泛，包括机器学习和算法方面的课题，如非凸优化、深度学习及其理论、强化学习、表示学习、分布式优化等。他的论文《机器学习的非凸优化：设计、分析和理解》获得了2019年 ACM 博士论文奖荣誉奖。
Qiang Liu有5篇文章入选。Qiang Liu是德克萨斯大学奥斯汀分校计算机科学系的助理教授。他的研究领域是机器学习和统计，兴趣遍及数据收集（如通过众包）、学习、推理、决策和使用概率建模的各种应用等。
卡内基梅隆大学计算机科学学院邢波教授4篇入选。邢波还是匹兹堡大学医学院兼职教授，卡内基梅隆大学机器学习和医疗中心主任。清华大学物理学、生物学本科，美国新泽西州立大学分子生物学与生物化学博士；美国加州大学伯克利分校的计算机科学博士，师从三位大牛导师Michael Jordan、Richard Karp和Stuart Russell。他的研究兴趣集中在机器学习、统计方法论的发展，及大规模计算系统和架构上，以解决在复杂系统中的高维、多峰和动态的潜在世界中的自动化学习、推理以及决策问题。他曾获得美国国家科学基金会（NSF）事业奖、Alfred P. Sloan学者奖、美国空军青年学者奖、IBM开放协作研究学者奖等，以及多次论文奖。
朱泽园以一作身份发表4篇论文。他目前就职于微软总部研究院。清华毕业后他在MIT读完了硕士和博士，做了两年博士后之后去年进入微软，成为 Redmond 机器学习和优化研究组的成员。他致力于机器学习和优化的数学基础研究，并将其应用于深度学习、理论计算机科学、运筹学和统计学。
当然还有很多华人学者在此次NeurIPS上也有不错的表现，鉴于篇数有限，就不一一赘述，入选4篇以上的华人作者可见下表。
哪些论文引用量较高？
截至目前，在NeurIPS2019所有接收论文中，已突破0引用量的论文大约有625篇，占总论文数的43.8%，算是较高的占比。这六百多篇论文中，引用量10以下的论文数量最多，达到570篇，占已引用论文数的91.2%；而在引用量10以下的论文中，引用数量在1和2的论文占比最大，达66.1%，共计377篇。引用量10及以上的论文数量相对较少，共计55篇，占已引用论文数的8.8%。有关10及以上引用量论文数的具体统计，可见下表：
NeurIPS 2019论文中，引用量10以上的论文大约有55篇。其中，50以下引用量的论文数为47篇，50以上为8篇。具体而言，引用量在10到20之间的论文数为39篇，20至50的论文数为8篇；50至100的论文数为6篇，100以上的论文数为2篇。
在这55篇论文中，有2篇的引用量一骑绝尘，远超其余各篇。Top 2即《Functional Adversarial Attacks》，引用量190多，作者是Cassidy Laidlaw、Soheil Feizi，二人均来自美国马里兰大学。Top 1论文的引用量已超过200，真正可谓一枝独秀，那么它是哪篇论文呢？
引用量Top 1论文
截至目前，NeurIPS 2019会议论文中，引用量最高的一篇，即卡内基梅隆大学和谷歌AI Brain团队联合发布的--《XLNet：Generalized Autoregressive Pretraining for Language Understanding》一文，作者分别是Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Ruslan Salakhutdinov、Quoc V. Le。
这六位作者中有一个大神级人物--Ruslan Salakhutdinov。Ruslan ，2009年于多伦多大学获得博士学位，是“神经网络之父”Geoffrey Hinton的高徒。2006年是深度学习的拐点，标志性论文之一为Geoffrey Hinton发布在Nature杂志上的论文《Reducing the Dimensionality of Data with Neural Networks》，当时博士一年级的Ruslan Salakhutdinov是其第二作者。目前，Ruslan Salakhutdinov一边在卡内基梅隆大学任教，一边担任苹果AI的总监，他也是苹果聘请的首任AI总监。
在NLP领域，2019年可谓是“BERT年”。自谷歌发布BERT（Bidirectional Encoder Representations from Transformers）预训练模型以来，效果太好，十分火爆，引发一股预训练模型热，而目前绝大多数的预训练模型都是在BERT基础上改造而来的。
（引用：清华大学王晓智、张正彦给出的预训练模型关系图）
凭借对双向上下文进行建模的能力，与基于自回归语言建模的预训练方法相比，基于BERT的自动编码的预训练实现了更好的性能。然而，依赖于对输入使用掩码，BERT忽略了屏蔽位置之间的依赖性，并且受到预训练 - 微调差异的影响。
根据以上优缺点，《XLNet：Generalized Autoregressive Pretraining for Language Understanding》一文提出了XLNet，一种广义自回归预训练方法。它（1）通过最大化分解阶的所有排列的预期可能性来学习双向上下文，并且（2）由于其自回归性，克服了BERT的局限性。此外，XLNet将最先进的自回归模型Transformer-XL的创意整合到预训练中。
根据实验，XLNet在20个任务上的表现优于BERT，且都有大幅度提升，并在18个任务中实现最先进的结果：7个GLUE语言理解任务；3个阅读理解任务，包括SQUAD和RACE；7个文本分类任务，包括Yelp和IMDB；以及ClueWeb09-B文档排名任务。
这篇论文既有大神的加入，又契合预训练研究的热点；更重要的是，它力图克服BERT的局限，提出了一种新的预训练方法XLNet，十分具有创新性。由此可见，这篇论文获得本年度NeurIPS 论文引用量Top 1，实至名归。
引用量50以上的论文
1.XLNet: Generalized AutoregressivePretraining for Language Understanding
作者：Zhilin Yang、Zihang Dai、Yiming Yang、Jaime Carbonell、Ruslan Salakhutdinov、Quoc V. Le（卡内基梅隆大学，谷歌AI Brain）
链接：
https://www.aminer.cn/pub/5d1eb9d4da562961f0b0e960/xlnet-generalized-autoregressive-pretraining-for-language-understanding
2.Functional Adversarial Attacks
作者：Cassidy Laidlaw、Soheil Feizi（马里兰大学）
链接：
https://www.aminer.cn/pub/5d04e8e6da56295d08dbb745/functional-adversarial-attacks
3.Cross-lingual Language Model Pretraining
作者：Alexis Conneau、Guillaume Lample（Facebook AI）
链接：
https://www.aminer.cn/pub/5db9292947c8f766461ef5d7/cross-lingual-language-model-pretraining
4.Learning and Generalization inOverparameterized Neural Networks, Going Beyond Two Layers
作者：Zeyuan Allen-Zhu、Yuanzhi Li、Yingyu Liang（Microsoft Research AI，卡内基梅隆大学，威斯康星大学）
链接：
https://www.aminer.cn/pub/5c04966a17c44a2c747086d9/learning-and-generalization-in-overparameterized-neural-networks-going-beyond-two-layers
5.Goal-conditioned Imitation Learning
作者：Yiming Ding、Carlos Florensa、Mariano Phielipp、Pieter Abbeel（加州大学伯克利分校，英特尔AI实验室）
链接：
https://www.aminer.cn/pub/5d1eb9cfda562961f0b0a73e/goal-conditioned-imitation-learning
6.GPipe: Efficient Training of Giant NeuralNetworks using Pipeline Parallelism
作者：Yanping Huang、Youlong Cheng、Dehao Chen、Mia Chen、Yonghui Wu、zhifeng Chen、Quoc V. Le、Ankur Bapna、Orhan Firat、HyoukJoong Lee、Jiquan Ngiam（谷歌）
链接：
https://www.aminer.cn/pub/5c04967517c44a2c74708b7e/gpipe-efficient-training-of-giant-neural-networks-using-pipeline-parallelism
7.Adversarial Examples Are Not Bugs, TheyAre Features
作者：Andrew Ilyas、Shibani Santurkar、Dimitris Tsipras、Logan Engstrom、Brandon Tran、Aleksander Madry（MIT）
链接：
https://www.aminer.cn/pub/5cf48a3fda56291d582a25e9/adversarial-examples-are-not-bugs-they-are-features
8.Wide Neural Networks of Any Depth Evolveas Linear Models Under Gradient Descent
作者：Jaehoon Lee、Lechao Xiao、Samuel Schoenholz、Yasaman Bahri、Roman Novak、Jascha Sohl-Dickstein、Jeffrey Pennington（谷歌）
链接：
https://www.aminer.cn/pub/5cede107da562983788e6d84/wide-neural-networks-of-any-depth-evolve-as-linear-models-under-gradient-descent
这些论文都引自何处？
说完了NeurIPS 2019论文的引用量，再来看看他们又都引用了哪些会议/期刊的论文？
据粗略统计，1251篇NeurIPS2019论文约有14336篇引用，总计引用量达24227次（含重复引用）。
这些论文主要引用了人工智能、机器学习、计算机视觉、自然语言处理、体系结构等国际顶会上的论文。比如，NeurIPS 2019还是引用自家论文最多，占比达12.6%；接下来主要引用了国际机器学习会议ICML上发表的论文，占比9.4%。
引自ArXiv的论文也有不少，占比8.7%。arXiv是1991年由美国洛斯阿拉莫斯国家实验室建立的电子预印本文献库，它是一个涉及物理、数学、非线性科学、计算机科学等领域的e-print服务平台，而很多论文在投至顶会后也都会上传至ArXiv供大家浏览学习。
此外，还有不少论文引自ICLR、COLT、CVPR 、ECCV、ICCV、AAAI、STOC、UAI、EMNLP、AISTATS等机器学习、计算机视觉以及自然语言处理顶会上的论文。另外还有一些引自J. Mach. Learn. Res与 SIAM等期刊。
作者：学术菠菜 学术青
校对：培培 大云子
责任编辑：学术青 优学术
NeurIPS100计划是AMiner新推出的一个针对顶会人才和顶会论文的平台化的智能挖掘服务，其目的是对每个顶级会议的100位作者和讲者（人才）进行深度洞察，分析作者之间的关联关系，形成的研究派系、作者的成长路径以及未来的成长脉络预测、跳槽指数等；另外，我们还将针对会议高影响力的100篇重要论文进行深入解读。