【文本信息抽取与结构化】深入了解关系抽取你需要知道的东西
常常在想,自然语言处理到底在做的是一件什么样的事情?到目前为止,我所接触到的NLP其实都是在做一件事情,即将自然语言转化为一种计算机能够理解的形式。这一点在知识图谱、信息抽取、文本摘要这些任务中格外明显。不同的任务的差异在于目标的转化形式不一样,因而不同的任务难度、处理方式存在差异。
这个系列文章【文本信息抽取与结构化】,在自然语言处理中是非常有用和有难度的技术,是文本处理与知识提取不可或缺的技术。
本篇介绍如何从文本中抽取出两个或者多个实体之间的关系,即关系抽取。
作者&编辑 | 小Dream哥
关系抽取概述
在前面的文章中,我们介绍了将文本结构化的大致过程以及信息抽取的、涉及到的技术,却没有介绍具体的技术细节。接下来我们来全面而细致的介绍相应的技术,今天我们关注关系抽取。
所谓关系抽取,就是抽取文本中两个或者多个实体之间的关系。例如:
中国的首都是北京
关系抽取即是从上述文本中,抽取出如下的实体关系的任务:
<中国,首都,北京>
关系抽取的方法大概有以下几类:
1.基于模板的方法
基于规则
基于依存句法
2.监督学习
机器学习
深度学习(pipline vs joint model)
3.半监督/无监督学习
Bootstrapping
Distant supervision
Unsupervised learning from web
下面我们一一来介绍这些方法。
基于模板的方法
1)基于自定义规则
通常来说,在语义上,表达两种实体的关系都有一些特定的说法,例如刚才的例子,描述国家和首都通常都会有这样的模式:
<国家>的首都/首付是<首都>
因此,基于自定义规则的方法,可以总结某类关系常用的说法,然后基于这些说法提炼出规则/正则表达式来进行关系抽取。
2)基于NER标签
很多时候,特定的关系是在某些特定的实体之间,例如:
1.首都(国家,城市)
2.创作(歌手,歌曲)
3.写作(作家,小说)
结合NER标签与具体的规则,常常能够取得不错的关系抽取效果。
此外,基于句法关系等模板的方法,这里不再详述。基于规则的方法有如下的优缺点:
优点:
1.准确率高
2.可以为特定领域定制
3.启动快,可以在小规模数据集上实现
缺点:
1.召回率低
2.特定领域的规则通常需要专家构建
3.难以维护
4.可移植性差
2 监督学习方法
1)传统机器学习
传统机器学习进行关系提取通常基于一些分类模型,包括朴素贝叶斯,SVM等。为了提高效率,通常会训练两个分类器,第一个分类器是1/0分类,判断命名实体间是否有关系;第二个分类器是多分类器,第一个分类器判断有关系再输入到这个分类器,预测关系的类别。这样做能够先排除大多数的实体对,进而加快分类器的训练过程。
基于传统机器学习方法的标准流程是:
1.预先定义好想提取的关系集合
2.定义或选择相关的命名实体集合
3.寻找并标注数据
4.选择有代表性的语料库
5.命名实体标记
6.实体间的关系标注
7.分词训练、测试、验证集
8.涉及特征
9.选择并训练分类器
10.评估结果
目前,用于关系抽取最多也是最有效的监督学习是深度学习的方法,所以这里就不多介绍机器学习相关的算法,我们来着重介绍深度学习的算法。
2)深度学习的方法
基于深度学习的关系抽取目前主要有两种方法:Pipline Method和Joint Method。
Pipline Method,流水线方法:输入一个句子,首先进行命名实体识别,然后对识别出来的实体进行两两组合,再进行关系分类。
流水线的方法存在蛮大的缺点,例如:
1.错误传播,实体识别模块的错误会传播到后面的分类模块;
2.忽略了两个子任务之间存在的关系。例如前面“中国的首都是北京”的例子,如果存在“首都”关系,那么前一个实体必然是国家类别,后一个实体比如是城市类别。流水线的方法,忽略了这些信息;
3.产生了没必要的冗余信息,由于需要对识别出来的实体进行两两配对,然后再进行关系分类;那些没有关系的实体对就会产生多余的信息,提高错误率。
Joint Method,即联合抽取方法,则跟流水线的方法不同,基于流水线方法的诸多缺陷,Joint Method能够通过一个实体识别和关系分类的联合模型,直接得到有关系的实体三元组。
Joint Method主要分为两个流派,基于参数共享(Parameter Sharing)和基于标注策略(Tagging Policy)两类。
基于基于参数共享(Parameter Sharing)的联合抽取方法,可参考这一篇论文:
Suncong, Zheng, Yuexing, et al. Joint entity and relation extraction based on a hybrid neural network[J]. Neurocomputing, 2017.
如上图所示,是这种方法的网络结构框图。每个词都会被映射到一个实体标记(BILOS:Begin Inside Last Outside Single),它包含了改字在实体中的位置信息。NER模块没有用CRF,而是额外用了一层LSTM来解码双向LSTM编码出来的Hidden state,并建模它和实体标记之间的关系。该模块的损失函数如下:
关系分类模块采用CNN模型,处理BiLSTM的Hidden state并输出关系类别。该模块的损失函数如下:
基于标注策略(Tagging Policy)的联合抽取方法,可参考这一篇论文:
S. Zheng, F. Wang, H. Bao, Y. Hao, P. Zhou, B. Xu, Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme, Acl. (2017).
在这篇论文中,将实体识别和关系分类两个问题,转化为一个序列标注的问题,然后通过一个端对端的神经网络模型直接得到关系实体三元组。
他们提出的这种新的标注策略主要由下图中三部分组成:
1)实体中词的位置信息{B(实体开始),I(实体内部),E(实体结尾),S(单个实体)};
2)关系类型信息{根据预先定义的关系类型进行编码};
3)实体角色信息{1(实体1),2(实体2)}。注意,这里只要不是实体关系三元组内的词全部标签都为"O"。
如上图所示,“B-CP-1"表示这个词是一个实体的begin,同时这个实体属于关系CP的第一个实体。
与典型的用LSTM进行实体抽取的模型差异在于,这个模型对损失做了一定的修改,如下图所示:
当标签为"O"时,就是正常的目标函数,当标签不是"O"时,即涉及到了关系实体标签,则通过α来增大标签的影响。实验结果表明,这个带偏置的目标函数能够更准确的预测实体关系对。
关于关系抽取的基本方法,到这里就介绍的差不多,希望读者能有所收获,下篇我们继续介绍最新的关系抽取模型。
总结
文本信息抽取与结构化是目前NLP中最为实际且效益最大的任务,熟悉这个任务是一个NLP算法工程师必需要做的事情。