LSTM之父再称ResNet、GAN等五大网络都有他的功劳！网友却说：自负大于引用数
丰色 发自 凹非寺
转载自：量子位（QbitAI）
“现在引用最多的几个神经网络都是建立在我的实验室成果之上的！”
能说出此话的不是别人，正是在深度学习领域作出了巨大贡献的LSTM之父——Jürgen Schmidhube。
但这也不是他第一次为“自己的开创性工作没得到足够的尊重”而公开发声。
在这篇“直抒胸臆”的推文里，他还专门链出了个博客，里面历数了他和他的团队在LSTM、ResNet、AlexNet和VGG、GAN以及Transformer变体——这五个赫赫有名的神经网络上的早期贡献。
来看看他是怎么说的。
“五大神经网络都是建立在我的实验室成果之上”
首先是LSTM （Long Short-Term Memory）。这是Jürgen和他的学生们在1997年提出的一种新的RNN，解决了神经网络长短期记忆的难题。
根据谷歌学术，这是20世纪被引用次数最多的神经网络。
现在已经“渗透”进医疗保健、学习机器人(learning robot)、游戏、语音处理、机器翻译等领域，每天被无数人使用数十亿次。
其厉害之处不用多说，大家对Jürgen的这项成就也没啥异议。主要看另外四个：
ResNet
作为21世纪被引用次数最多的神经网络，Jürgen说它引用了他们的Highway Net、然后把它做成了另一个版本。
Highway Net，是他的学生们发明的第一个具有100多层的真正的深度前馈神经网络。
它用跳层连接解决了非常深度的神经网络的训练，其性能也与ImageNet上的ResNet差不多。
这俩的争议很多人都有分析过，虽然两者都用了跳层连接技术，但选择的机制不同；多数人认为ResNet应该只是受到了Highway Net的启发。
但Jürgen不这么认为，他还专门强调了一下，Highway Net也是基于LSTM的思想才得以解决深度训练的问题的。意思是ResNet“一脉相承”了他两个成果。
AlexNet和VGG Net
对于这俩在引用次数排第二、第三的神经网络，Jürgen表示：都类似DanNet——他们在2011年提出的第一个赢得图像识别比赛的深度卷积神经网络，并且DanNet在AlexNet出现之前赢了4场。
因为2012年出生的AlexNet论文中引用了DanNet，用到了Jürgen团队提出的摒弃无监督预训练为纯监督学习的DNN思想。
而VGG则是同样采用了DanNet使用小卷积滤波器增加神经网络深度的track。
GAN
博文中写道，大名鼎鼎的GAN也是Jürgen本人在1990年提出的Adversarial Curiosity原则的应用，它们都由两个神经网络进行“对抗”（Adversarial Curiosity则是一个叫生成器，一个叫预测器）。
“炮轰”GAN可不是第一次了，Jürgen甚至还公开和GAN的提出者battle过，但很多学者分析，GAN并不能视为Adversarial Curiosity的一个简单变种。
Transformer
最后一个是Transformer，如今风靡的Transformer又和Jürgen有什么关系呢？
Jürgen说，Transformer的变体-线性Transformer，在形式上相当与他于1991年提出的快速权重存储系统（Fast Weight Programmers）的延伸（除了标准化部分）。
真的是这样的吗？
不得不说，Jürgen的某些思想非常超前，但其实上面的这些内容都不是Jürgen第一次公开说明了。
一如既往，网友们的回应褒贬不一。
追捧他的表示：
“这是Schmidhuber的世界，我们凡人只是居住在其中！”
“Schmidhuber is all you need.”
但更多的人都是在承认他巨大贡献的同时，指出他过于美化自己的贡献，想把这二三十年所有相关的进步都归功于他。
就像博文中提到的ResNets，许多人的观点认为它只是HighwayNets中一个非常微不足道的延伸；
而Transformer则是在发展壮大了三年之后才被Jürgen联系到了Fast Weight Programmers身上；（如果真的那么相关，怎么一开始不指出来）
上面提到的种种几乎和他的团队成就没啥关系，没有他的那些论文，那些模型照样会被提出来。
而他最重要的两个贡献是：用LSTM思想解决RNN训练难题以及梯度消失难题的理论分析。但这都还主要是他的学生Hochreiter领导的。
因此有人觉得Jürgen这种行为简直就像个孩子一直在说“看我，我是最棒的”一样：
甚有直言：“他的自负大于他的引用次数”。
你觉得呢？
参考链接：[1]https://www.reddit.com/r/MachineLearning/comments/pk69xy/d_schmidhuber_the_most_cited_neural_networks_all/
[2]https://twitter.com/SchmidhuberAI/status/1435499479306809346
[3]https://people.idsia.ch/~juergen/most-cited-neural-nets.html