赠书 | 知识图谱上的图神经网络

文中有数据派THU福利哦

几乎所有早期的知识图谱嵌入的经典方法都是在对每个三元组打分，在实体和关系的表示中并没有完全考虑到整幅图的结构。

早期，图神经网络的方法在知识图谱嵌入中并没有被重视，主要由于：

  • 早期的图神经网络更多是具有同种类型节点和边的同构图，对知识图谱这样的异构图关注较少。

  • 早期的图神经网络复杂度较高，很难扩展到知识图谱这种大规模图上。

随着对图神经网络研究的深入，越来越多的研究者开始使用更具表达力的图神经网络对知识图谱进行建模。

关系图卷积网络

关系图卷积网络是一个基于信息传递的异构图神经网络。

它本质上是对图卷积网络模型的一个扩展，在图卷积网络的基础上加入了边的信息，因此也可以被用来学习知识图谱中的实体嵌入。
给定节点状态  和它的邻接节点集  （其中  表示边上的关系），节点的表示由以下公式进行更新：
其中，  是一个用来正则化的系数。下图展示了关系图卷积网络的节点更新过程，对于每个节点  ，它把周围所有与之相连的关系  （即rel_1 到rel_N，区分正反方向）都表示为一个矩阵  ，加入节点更新的公式中，并且加入了自循环来保持部分自身节点的信息。

带权重的图卷积编码器

结构感知卷积网络（Structure-Aware Convolutional Networks，SACN）把知识图谱拆分为多个单关系的同构图，即知识图谱中的每种关系对应一个子图，在最终聚合时再考虑每个关系的重要度。本质上，结构感知卷积网络是图卷积网络和ConvE 模型的合体。它以一个带权重的图卷积网络（Weighted Graph Convolutional Networks，WGCN）为编码器，用一个叫作Conv-TranE 的解码器进行解码。

编码器：结构感知卷积网络采用了带权重的图卷积网络进行编码，不同于图卷积网络，它对每个关系  在信息传递的每一层  赋予一个权重  。在信息传递的过程中，关系本身的重要性也被考虑进去了：
解码器：Conv-TransE 模型的架构是基于ConvE 模型的。不同的是，Conv-TransE 模型中实体和关系向量  不像ConvE 模型中那样先转换成二维矩阵，并且保持了TransE 模型的平移不变性，即  。它的得分函数写成
其中，  是卷积之后得到的形式。结构感知卷积网络在ConvE 模型的基础上增加了带权重的图卷积网络的编码，因此可以加入知识图谱的结构信息和实体节点自身的属性信息，使结果得到了很大的改进。
知识图谱与图注意力模型
既然已经有了基于图卷积网络的模型，我们可以预见，一定有基于图注意力的模型。我们以文末参考文献为例介绍知识图谱的图注意力模型。类似于结构感知卷积网络，这个模型也是用图神经网络作为编码器，然后将一个传统的知识图谱嵌入模型作为解码器。
具体来讲，编码器就是一个图注意力网络的扩展。它与图注意力网络不同的地方在于在计算边的注意力权重时，除了考虑到节点的属性，也加入了边的信息：
其中，  ，  表示对  和  对应的维度进行归一化。类似于图注意力网络，我们可以加入多头注意力来增加模型的表达能力，假设我们有M 个独立的注意力机制，则节点的更新可以表示为
而解码器是用之前的一个经典模型ConvKB。对于每一个三元组  ，在上述编码器得到它们的向量表示  之后，引入ConvKB 模型的得分函数：
其中  是第  个卷积核。

图神经网络与传统知识图谱嵌入的结合：CompGCN

Vashishth 等人认为在知识图谱的信息传递中，应该综合考虑关系和节点的组合，而非将它们各自分离表示。

因此，他们在提出的CompGCN 模型中采用了传统知识图谱嵌入中的三元组关系  （其中  为一个三元组）作为要传递的信息，然后进行信息的聚合和节点状态的更新。
首先，他们综合考虑了边的不同类型：有向边、反向边、自连边，并对它们分别采用不同的投影矩阵（  ），把对应的关系映射到向量上去，即  。然后节点的更新可以表示为
函数与传统的知识图谱嵌入对三元组的打分方法类似，例如，可以选用以下三种不同的函数：
  • 减  ，对应TransE 模型。
  • 乘  ，对应DistMult 模型。
  • 循环相关  ，对应HolE 模型。
由于结合了知识图谱嵌入的得分方式，又考虑了不同边的类型，CompGCN 在基于知识图谱完成的任务上取得了非常好的效果，在很多指标上都达到了最好。

总结

知识图谱作为一种重要而特殊的图结构，在各个领域有着广泛的应用，知识图谱的表示学习为传统人工智能关注的推理、符号逻辑等提供了新的、高效的方法，而图神经网络在这个领域也起到了越来越关键的作用。

同时，知识图谱的特殊性和复杂性为图神经网络提供了很多新的、待解决的问题，如可解释性、复杂推理、可扩展性、自动构建与动态变化。

解决这些问题，将为我们带来新的技术推动力。

参考文献：NATHANI D, CHAUHAN J, SHARMA C, et al. Learning attention-based embeddings for relation prediction in knowledge graphs[C]//Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics, 2019:4710-4723.
本文节选自《图神经网络：基础与前沿》一书

《图神经网络：基础与前沿》

马腾飞 编著

  • 梳理图神经网络（GNN）领域的经典模型

  • 帮助读者构建图神经网络知识体系

  • 厘清重要模型的设计思路和技术细节

  • 展现图神经网络的研究进展

  • 图神经网络在推荐系统、生物医疗、自然语言处理等不同场景的实践

图神经网络是人工智能领域的一个新兴方向，它不仅迅速得到了学术界的广泛关注，而且被成功地应用在工业界的多个领域。

本书介绍了图神经网络和图深度学习的基础知识和前沿研究，不仅包括它们的发展历史和经典模型，还包括图神经网络在深层网络、无监督学习、大规模训练、知识图谱推理等方面的前沿研究，以及它们在不同领域（如推荐系统、生化医疗、自然语言处理等）的实际应用。

本书既可作为人工智能领域研究和开发人员的技术参考书，也可作为对图上的深度学习感兴趣的高年级本科生和研究生的入门书。

数据派THU独家福利！

点点为数据派THU的粉丝们争取了3本赠书福利！欢迎小伙伴儿在下方留言区说出想要获得赠书的理由，我们将为点赞数最高（截止到2021年4月1日中午12点）的3位读者免费送上此书~小编会联系你们哦！
赞 (0)

相关推荐