AAAI 2021 |图模型相关工作——数据扩充；近似梯度下降；解决灾难性遗忘问题

点击上方 关注我们

本文介绍三篇AAAI2021最新的研究工作，下面的三篇论文均与模型的设计相关，具体的任务涉及节点分类和图分类。

  • Data Augmentation for Graph Neural Networks

  • Learning Graph Neural Networks with Approximate Gradient Descent

  • Overcoming Catastrophic Forgetting in Graph Neural Networks

1. 数据增强用于GNN

Paper: https://arxiv.org/abs/2006.06830

Code: https://github.com/zhao-tong/GAug

Data Augmentation for Graph Neural Networks

数据增强已被广泛用于提高机器学习模型的通用性。但是，较少的工作研究图的数据扩充。这在很大程度上是由于图的复杂结构限制了相关的研究。在半监督节点分类的背景下，该工作研究了图神经网络（GNN）的图数据扩充。讨论了图数据扩充和理论动机，考虑因素和策略。研究工作表明，边预测可以有效地编码同质结构，在给定的图结构中边预测可以促进类内边的学习和降低类间边的学习。

本文的主要贡献是引入了GAug图数据扩充框架，该框架通过边预测提升了模型的性能。

2. 通过近似梯度下降学习GNN

Paper: https://arxiv.org/pdf/2012.03429.pdf

Learning Graph Neural Networks with Approximate Gradient Descent

本文提出了用于学习具有一层隐藏层的图神经网络（GNN）算法。研究了两种类型的GNN，用于节点分类和图分类。本文提出了一个用于设计和分析GNN训练算法收敛性的综合框架。提出的算法适用于多种激活函数，包括ReLU，Leaky ReLU，Sigmod，Softplus和Swish。

结果表明，所提出的算法保证了对神经网络基本参数的线性收敛速度。对于上面提到的两种类型GNN，本文证明了样本复杂度与节点数或图的相关性。理论上表明特征尺寸和GNN结构对收敛速度的关系。

3. 解决图神经网络中的灾难性遗忘

Paper: https://arxiv.org/abs/2012.06002

Code: https://github.com/hhliu79/TWP

Title: Overcoming Catastrophic Forgetting in Graph Neural Networks

灾难性遗忘是指神经网络在学习新任务时会“忘记”先前学习的知识的趋势。在本文中，作者提出了一种新的方案，致力于克服灾难性的遗忘问题，从而加强GNN中的持续学习。方法的核心是一个通用模块，称为拓扑感知权重保持（TWP），以即插即用的方式适用于任意形式的GNN。与基于CNN的持续学习方法的仅依赖于减慢对下游任务重要的参数的更新不同，TWP明确地探索输入图的局部结构，并试图稳定在拓扑中起关键作用的参数。本文在几个数据集中的不同GNN主干上评估了TWP，并证明了它产生的性能优于最新技术。

赞 (0)

相关推荐