前沿综述 | 神经问题生成

转载于 :专知

摘要: 问题生成是指机器主动对一段文本进行提问,生成一个自然语言的问题。神经问题生成则是完全采用端到端的训练方式,使用神经网络完成文档和答案到问题的转换,是自然语言处理中一个新兴而又重要的研究方向。文中首先对神经问题生成进行了简单介绍,包括基本概念、主流框架和评价方法。接着介绍了该研究方向的关键问题,包括输入建模、长文本处理、多任务学习、机器学习方法的应用、其他研究问题和改进点。最后,介绍了问题生成和问答系统的关系,以及问题生成的未来研究方向。

http://www.jsjkx.com/CN/10.11896/jsjkx.201100013

问题生成[1]是自然语言处理中一个非常重要的研究方 向,是检验计算机是否真正理解文本的重要途径之一.问题 生成是指机器主动对一段文本进行提问,生成一个自然语言 的问题.具体来说,问题生成任务的输入通常包含文本(文档 或句子,以下均用文档表示)和目标答案,输出是在给定文档 和目标答案的情况下,生成最有可能的问题.

问题生成在学术界和工业界有诸多应用.在学术界,问 题生成可以对许多其他任务起辅助作用,如为机器阅读理解 任务提供数据集、作为辅助任务提升其他生 成 任 务 的 性 能 等;在工业界,问题 生 成 则 可 以 在 许 多 实 际 的 应 用 场 景 中 使用,如引导对话 聊 天 机 器 人 主 动 提 问、在 教 育 辅 导 系 统 中模拟用户提问等.在最近的天池 竞 赛 中,也 展 开 了 以 医疗问题生成为主题的竞赛。

问题生成主要包含两种方法:基于规则和模板的问题生 成,以及基于神经网络的问题生成.最初,基于规则和模板的 问题生成是问题生成的主流研究方法.该方法的好处是可以 保证生成问题的流畅度和相关性,缺点是需要大量人工干预, 同时手工模板的构造也会在很大程度上限制生成问题的多样 性.而在深度学习技术重新焕发生机以后,神经网络开始成 为问题生成的主流研究方法.2017年,Du等[2]和 Zhou等[3] 最先提出神经问题生成,其成功地将最原始的编码器G解码器 模型应用到问题生成.尽管该工作比较简单,但引起了极大 反响,让越来越多的研究人员开始关注神经问题生成这一研 究方向.随后,神 经 问 题 生 成 方 向 涌 现 出 了 大 量 高 质 量 的 研究. 本文将介绍问题生成的相关研究进展,如图1所示.

本文 第 2 节 介 绍 了 问 题 生 成 的 主 流 框 架,包 括 基 于 RNNSearch的模型、基于 Transformer的模型和基于规则和 模板的方法;第3节介绍了问题生成的评价方法,包括其所使 用的数据集和自动化评价指标;第4节介绍了问题生成研究 中的关键问题,包括输入建模、主要改进点、长文本处理、多任 务学习及机器学习方法的应用;第5节介绍了问题生成和问 答系统的关系,包括问题生成和阅读理解的结合、利用问题生 成构建 QA 对;第6节介绍了问题生成的未来研究方向,包括 对话形式的问题生成、多跳形式的问题生成以及其他形式的 问题生成;最后总结全文.

---------♥---------

(0)

相关推荐

  • 一万字纯干货|机器学习博士手把手教你入门LSTM(附代码资料)

    LSTM是一种时间递归神经网络,适合于处理和预测时间序列中间隔和延迟相对较长的重要事件.在自然语言处理.语言识别等一系列的应用上都取得了很好的效果. <Long Short Term Memor ...

  • NLP新宠——浅谈Prompt的前世今生

    © 作者|闵映乾 机构|中国人民大学信息学院硕士 研究方向 | 自然语言处理 本文主要介绍Prompt的相关研究进展,文章也同步发布在AI Box知乎专栏(知乎搜索 AI Box专栏),欢迎大家在知乎 ...

  • 知识增强的文本生成研究进展

    ©作者|李军毅 机构|中国人民大学高瓴人工智能学院 研究方向 | 自然语言生成与知识融合 本文梳理近些年在知识增强的文本生成领域的一系列研究进展,其主要内容参考以下这篇论文. A Survey of ...

  • 未来城市思辨|部落聚会与人工智能写诗 | 诗通社 | 诗生活网

    澎湃新聞網 朱恬骅 1950年,计算机科学之父阿兰·图灵发表了著名的<计算机器与智能>一文,正式提出了建造智能机器的技术主张.在论述其"模仿游戏"时,有一段设想中的问答 ...

  • 字幕组时代落幕,翻译的未来可能是?

    随着新媒体平台的兴起,人工智能技术已经大大提高了信息内容的创作,而个性化推荐算法的信息又为信息内容的分发提供了极大的便利,这其中,文本生成技术非常重要,因为它在很多的应用场景有广泛的应用,比如机器翻译 ...

  • 将决策权“外包”给AI靠谱么?

    来源:<中国科学报>2021-06-24 09:14 很多时候,选择或决策是困难的.人们不但会面临诸多两难选择,还经常受到情绪.偏好.认知水平等因素的影响.同样,精准地预测人类的选择也非易 ...

  • 什么是模式识别?

    在 5 岁时,大多数孩子可以识别数字和字母--小字符.大字符.手写.机器打印或旋转--所有这些都很容易被年轻人识别. 在大多数情况下,最好的模式识别器是人类,但我们不了解人类如何识别模式. 模式识别是 ...

  • 前沿综述丨Kisspeptin对下丘脑垂体-卵巢轴的调控作用

    摘要 Kisspeptin 是调节女性生殖功能重要的神经肽,主要在下丘脑促性腺激素释放激素(GnRH)神经元的上游起作用,与GnRH神经元上的相应受体GPR54结合后刺激GnRH的释放,从而导致生殖轴 ...

  • 前沿综述:社会科学进入黄金时代

    导语 范式转移正推动社会科学走进黄金时代.跨学科人才合作.数据科学等新研究方法以及日益增长的科研数据集都使得今日社会科学呈现出崭新面貌.加州理工学院人文与社会学系学者2021年2月在 PNAS 杂志P ...

  • 前沿综述:联邦学习在医疗中的应用

    导语 联邦学习(Federated learning)可通过中央服务器,在保证数据隐私性的前提下,使用分散在各地的数据,训练机器学习/深度学习模型.从而在遵守隐私保护法律的前提下,通过协作建模,提升机 ...

  • 前沿综述丨炎症因子对卵泡发育的影响

    摘要 白细胞介素(interleukin,IL)-1家族.IL-6.肿瘤坏死因子(tumornecrosisfactor,TNF)-α.粒细胞-巨噬细胞集落刺激因子(granulocytemacrop ...

  • 前沿|综述:基于超构表面的太赫兹波调控

    太赫兹波的位置处于宏观经典理论向微观量子理论的过渡区,其频率在0.1-10THz(THz=1012 Hz)之间,是电磁波中唯一尚未完全开发的频段.由于太赫兹波有高效的背景发射噪声抑制功能,很好的时间和 ...

  • 前沿综述:大脑结构网络、功能网络和网络控制中的物理学

    导语 我们怎么将抽象的概念表述给自己和他人?表征是如何在脑中传递?知识怎样修正?解答大脑复杂系统的一系列谜题,物理学视角越来越重要.Nature reviews Physics 一篇综述文章,从大脑的 ...

  • 前沿综述丨胰岛素抵抗对辅助生殖助孕结局影响的研究进展

    摘要 在通过辅助生殖技术(ART)助孕治疗的不孕症患者中,部分患者合并胰岛素抵抗(IR),且IR影响ART助孕结局,这可能是胚胎反复种植失败(RIF)的原因之一.本文就IR对辅助生殖助孕结局影响的研究 ...

  • 前沿综述丨辅助生殖治疗中子宫内膜容受性评估相关临床指标的研究进展

    摘要 OF GRAIN 近年来辅助生殖技术(assisted reproductive technology,ART)不断发展,但目前单次移植 的临床妊娠率仅为30%~40%.反复种植失败是困扰患者和 ...

  • 全要素生产率研究前沿综述, 基于外文文献的研究

    背景知识:1.TFP计算方法比较及对应的程序都在这里!2.TFP全要素生产率的计算, 这个程序真无敌 要素生产率问题是近年来中外学者研究的热点.综述全要素生产率外文研究文献前沿对启发国内理论研究和指导 ...