斯坦福大牛Jure Leskovec:图神经网络研究最新进展

昨日,除了刷屏的“双十一”与AAAI开(放)奖(榜),斯坦福大牛Jure Leskovec正好到访清华,学术君的朋友圈是一片喜气洋洋呐……

Jure Leskovec有多火,来张现场图瞅瞅……

Jure Leskovec有多厉害?

Jure Leskovec

图网络领域的大牛Jure Leskovec,是斯坦福大学计算机学院的副教授,也是图表示学习方法 node2vec 和 GraphSAGE 作者之一。

在谷歌学术搜索(Google Scholar)上,Jure拥有接近4.5万的论文引用数量,H指数为84。这意味什么?

在美国,研究型大学要获得永久教职的副教授,H指数一般为10到12,晋升为正教授则大约为18。成为美国科学院院士则一般在45以上,中位数是57。而Jure  84的H指数也就意味着他在人工智能研究领域占有举足轻重的地位。

近年来,深度学习领域关于图神经网络(Graph Neural Networks,GNN)的研究热情日益高涨,图网络已经成为2019年各大深度学习顶会的研究热点。GNN 处理非结构化数据时的出色能力使其在网络数据分析、推荐系统、物理建模、自然语言处理和图上的组合优化问题方面都取得了新的突破。但是,大部分的图网络框架的建立都是基于研究者的先验或启发性知识,缺少清晰的理论支撑。

在ICLR2019中,Jure Leskovec 团队的一篇力作,图神经网络到底有多厉害( How Powerful are Graph Neural Networks) ?提出了基于WL图同构测试的理论框架,为众多的GNN框架给出了精彩的理论分析,并提出了一个简单但强大的图网络框架 GIN(Graph Isomorphism Networks),同时验证了GIN在图分类任务上的卓越性能。这篇文章认为图神经网络在因果推理方面有巨大的潜力,有望成为 AI 的下一个拐点。

Jure在研究什么?

Jure在演讲中提到,图形领域的机器学习是一项重要而普遍的任务,其应用范围从药物设计到社交网络中的友情推荐。该领域的主要挑战是找到一种表示或编码图形结构的方法,以便机器学习模型可以很方便地利用它。

他介绍了图神经网络研究的最新进展,他们使用基于深度学习的技术,自动学习将图形结构编码为低维嵌入。他还介绍了图表示学习的关键进展,包括图形卷积网络及其表示能力,探讨了它在Web级推荐系统、医疗保健、知识表示和推理方面的应用。

以下是该演讲的PPT节选。

深度学习工具箱是为简单的序列和网格而设计的,但并不是任何事物都可以表示为一个序列或一个网格。

我们怎样才能开发出更为广泛应用的神经网络呢?可以通过学习图像和序列的经典神经网络之外的新领域。

为什么这很难呢?

因为网络是复杂的!

  • 任意大小和复杂的拓扑结构(即没有像网格那样的空间局部性);

  • 无固定节点顺序或参考点;

  • 通常是动态的,具有多模态特征;

图形神经网络

GNNs的表现力如何?

理论框架:描述GNNs的判别力

  • 描述GNNs判别能力的上界;

  • 提出一种超级强大的GNNs;

  • 描述GNNs的辨别力;

关键点:根子树

强大的GNN能够区分不同结构的根子树。

想法:如果GNN函数是内射的,GNN可以捕获/区分根子树结构;

定理:最具判别力的GNN使用内射多集函数进行相邻聚集;

如果聚合函数是内射的,则GNN可以完全捕获/区分根子树结构。

GNNs的重要性

1.GNNs能做两件事:

  • 学习如何从附近节点“借用”特征信息以丰富目标节点;

  • 每个节点可以有不同的计算图,网络也可以捕获/学习其结构;

2.可选择计算图:

  • 聚合不需要在所有邻近点间发生;

  • 可以对邻近点进行选择/抽样;

  • 在实践中获得巨大成效;

3.我们了解GNNs的失败案例:

  • GNNs无法区分同构节点;

  • 结构感知Vs位置感知。

(0)

相关推荐

  • 2021斯坦福图机器学习课程CS224W开课了,Jure Leskovec主讲

    作者丨小舟.魔王 来源丨机器之心 编辑丨极市平台 极市导读 2021 年第一个月刚刚过半,有些学校的新学期就已经开始了. >>加入极市CV技术交流群,走在计算机视觉的最前沿 图是一种强大的 ...

  • 扩展图神经网络:暴力堆叠模型深度并不可取

    节点之间的相互依赖关系使我们很难将损失函数分解为各个独立节点的影响. 在本文中,我们介绍了Twitter 研发的一种简单的图神经网络架构,该架构可以在大型图上有效工作. 1 图神经网络介绍 图神经网络 ...

  • [2021最新] 顶级大佬的GNN教学视频

    本期我们为大家推荐几个图深度学习的课程.这些课程都是由业内大牛主讲,如GAT一作Velikovic关于图神经网络理论基础的分享,斯坦福Jure关于GNN设计空间的分享,Bresson关于GNN表示能力 ...

  • 首篇NLP图神经网络综述来了!127页文档让你全面了解这个领域

    AI科技评论报道 近些年来,深度学习已经成为处理NLP各种任务的主要方法.由于用图(graph)来表征文本可以更好的获取文本的结构信息,且随着火热的图神经网络的兴起,各种各样的NLP问题开始用图结构的 ...

  • 认知推理:从图表示学习和图神经网络的最新理论看AI的未来 | 附报告PPT下载

    近年来,图表示学习(Graph Embedding)和图神经网络(Graph Neural Network, GNN)成为网络数据分析与应用的热点研究问题,其特点是将深度神经网络技术用于网络结构的建模 ...

  • 高血压研究最新进展

    高血压是中风.心肌梗塞(心梗).心衰竭.动脉瘤(如主动脉瘤)及外周动脉疾病等重症的主要危险因素之一,也是慢性肾病的起因之一.即使轻度的动脉血压升高也能缩短期待寿命. 血压有收缩压和舒张压两种,收缩压9 ...

  • 北京大学医学部副教授张嵘:国际孤独症病因研究最新进展

    2019年12月19-20日,由北京市学前教育研究会.中国残疾人康复协会孤独症康复专业委员会.北京大学医学部幼儿园和北大医疗脑健康联合主办的"2019年首届学前特殊教育融合模式创新与教学质量 ...

  • 重返年轻也许不是梦|衰老研究最新进展一览!

    医学人士 TranslMed医学出版.了解更多SCI医学论文写作/征稿信息,让你的科研成果绿色通道出版.敬请关注. 2篇原创内容 公众号 导语:近期衰老研究进展一览! 每个人从出生开始,都注定面临着老 ...

  • ASCO2019速递 | 新突破!肺癌三大主要治疗手段研究最新进展

    2019年ASCO美国临床肿瘤学会于5月31日至6月4日在美国芝加哥举行,ASCO是世界上规模最大.学术水平最高.最具权威的临床肿瘤学会议,汇集了众多世界一流的肿瘤学专家,和与会者们一起分享探讨当前国 ...

  • 衰老研究最新进展盘点

    2021年1月31日讯/生物谷BIOON/---每个人从出生开始,都注定面临着老去的一天.科学技术的发展或许能够缓解衰老的速度.但针对具体的方法还是要仔细甄别.例如近年来比较流行的"干细胞疗 ...

  • 石墨烯研究最新进展汇总(10.1-10.15)

    我国石墨烯基础研究领域取得重要进展 近日,内蒙古农业大学材料科学与艺术设计学院郭泽宇副教授在纳米材料国际知名期刊<Carbon>上在线发表了题为"Hollow'graphene' ...

  • 锂电池研究最新进展汇总

    三星开发出全固态电池:能量密度900Wh/L 在最新一期的顶级刊物Nature Energy中,三星高等研究院和三星日本研究所联合发表了固态电池最新进展.这种高性能且长效的全固态电池,相较于锂离子电池 ...

  • 2020 AACR第一天 | 五大肿瘤、十项研究最新进展

    前 言 2020年AACR(美国癌症研究协会)年会第一部分在美国时间4月27日- 4月28日以线上虚拟会议模式举行的.今天,AACR第一天会议报道已经结束,惊艳的研究数据不少,特别是肺癌靶向及免疫治疗 ...