一文速览ICML2020高引论文与华人作者
据官方统计,ICML 2020 共提交 4990 篇论文,投稿数量再创新高,而最终接收论文 1088 篇,接收率 21.8%。与往年相比,接收率逐年走低。而在严格的评审和筛选下中国及华人的表现仍然亮眼。
接下来让我们看看截至目前引用量较高的本次 ICML 会议论文以及中国机构和华人的表现吧。
ICML AMiner:https://www.aminer.cn/conf/icml2020
ICMl2020高引用量的论文
Aminer 开发的 ICML 2020 顶会系统给出了本届会议引用量排名靠前的论文。可以看到,在引用量排名靠前的论文中,华人的表现相当活跃,如引用量排名第二的论文“A Simple Framework for Contrastive Learning of Visual Representations”的第一作者为 Chen Tin。排名前十的文章中有 6 篇都为华人作者,其余文章中也能看到华人参与的身影。
引用第一的论文为:“Data-Efficient Image Recognition with Contrastive Predictive Coding”
作者为来自 DeepMind 的 Olivier Henaff 等人。
简介:人类观察者可以从一大堆的例子中学习识别新的图像类别,然而用机器感知来识别这些图像仍然是一个开放的过程挑战。本文假设数据有效的识别是通过使自然信号的可变性更可预测的表示来实现的。因此,作者重新审视并改进对比预测编码,这是一个学习这种表示的无监督目标。这种新的实现产生的特性支持在 ImageNet 数据集上实现最先进的线性分类精度。当使用深度神经网络作为非线性分类的输入时,这种表示允许人们使用比直接在图像像素上训练的分类器少 2-5 个标签。最后,这种无监督的表示大大改进了 PASCAL VOC-2007 上从转移学习到目标检测的能力,超过了完全监督的预训练 ImageNet 分类器。
引用第二的论文为:“A Simple Framework for Contrastive Learning of Visual Representations”
作者为 Chen Ting、Kornblith Simon、Norouzi Mohammad、Hinton Geoffrey,值得一提的是来自谷歌大脑的 Chen Ting 作为本论文的华人一作。
简介:本文提出了一个简单的视觉表征对比学习框架 SimCLR。作者简化了最近提出的对比自监督学习算法,而不需要专门的架构或内存库。为了了解是什么使得对比预测任务能够学习有用的表征,作者系统地研究了框架的主要组成部分。发现:(1)数据扩充的组合对定义有效的预测任务起着至关重要的作用,(2)在表示和对比损失之间引入一种可学习的非线性变换,大大提高了学习表征的质量,(3)与监督学习相比,对比学习具有更大的批量和更多的训练步骤。通过结合这些发现,人们能够在 ImageNet 上大大优于以前的自监督和半监督学习方法。利用 SimCLR 学习的自监督表示训练的线性分类器达到了 76.5% 的 top-1 准确率,这比先前的最新技术提高了 7%,与有监督 ResNet-50 的性能相当。当仅对 1% 的标签进行微调时,本文的前 5 名准确率达到 85.8%,比 AlexNet 少 100 倍。
中国各机构与华人的表现
在论文数量排名前 50 的作者中,华人也表现亮眼:
发表了 6 篇论文的华人作者为普林斯顿大学的 Chi Jin 和普林斯顿大学 Zhuoran Yang。Chi Jin 为助理教授,而 Zhuoran Yang 是唯一一位发表 5 篇论文以上的博士生。