AI公开课：19.04.03周明—MSRA副院长《NLP的进步如何改变搜索的体验》课堂笔记以及个人感悟
AI公开课：19.04.03周明—MSRA副院长《NLP的进步如何改变搜索的体验》课堂笔记以及个人感悟
导读
周明博士，1999年加入微软研究院(MSRA)。现任微软亚洲研究院副院长。他现任国际计算语言学会（ACL）会长，中国计算机学会理事、中文信息技术专委会（即NLP专委会）主任、中国中文信息学会常务理事。他带领团队进行了微软输入法、英库词典（必应词典）、中英翻译、微软中国文化系列（微软对联、微软字谜、微软绝句）等重要产品和项目的研发，并对微软Office、必应搜索、Windows等产品中的自然语言技术做出了重要贡献。近年来，周明博士领导研究团队与微软产品组合作开发了微软小冰（中国）、Rinna（日本）、Zo（美国）等聊天机器人系统。
周明博士发表了120余篇重要会议和期刊论文（包括50篇以上的ACL文章），拥有国际发明专利40余项。他多年来通过微软与中国和亚太地区的高校合作计划，包括微软-高校联合实验室、微软实习生计划、微软-高校联合培养博士生计划、青年教师铸星培养计划，与高校和学术组织联合举办暑期学校和学术会议等多种形式，对推动自然语言处理在中国和亚太的卓越发展做出了杰出贡献。
问答环节
雷鸣教授：关于多轮语义分析器的看法。多轮还是限制场景，可以理解为算力或者某种不足。
周明教授：上下文信息如何关联，一定要考虑场景，通过场景定义状态，然后进行推理。
雷鸣教授：算力推动的发展，科研要跟着算力走，算力与自然语言的关系，未来的发展，是否会因为算力而提高？
周明教授：算力当然永远是重要的，有些问题，本身没有太多的训练语料，单凭算力是没办法的，可以通过人类的知识库，加以改进。人类模型如何建，如何融入到模型中。关于多轮，是出现动态的变化，无法提前通过输入输出得出，还需要常识、知识库的融入。基于数据驱动的，可以把模型建好。基于知识或者推理，背后还需要算力的。但是整个理论体系还没有起来，如果理论建好，那时候或许还是要看算力。
雷鸣教授：深度学习和知识图谱如何融合？语言其实是更大范围的表征。
周明教授：背后的技术可以用深度学习来做，可以把知识图谱也做词嵌入，与词的嵌入类似。但我不认为，该方向不太会有大的突破。第一，怎么来把知识图谱完备好；第二，假设知识图谱完备的情况下，如何去做推理。
雷鸣教授：动态理解，比如对视频的理解，单句或者一帧图片已经可以了。但是多轮的情况下，比如多轮对话，未来的发展，计算机视觉和自然语言处理的关系？
周明教授：未来人与机器的交互就是多模态的，现在的研究都是单模态的。现在，这是个特别诱人的方向，但是困境是缺乏相应的数据集。建议做语言与图像的双模态的数据集，以后可以做更大的数据集，来慢慢推动这个领域。基于数据集的驱动。
雷鸣教授：谈一下那些领域会有比较好的进展，在落地或者终端用户，适合学生创业的方向
周明教授：比如多模态的问答，先从单模态做起，先不加推理，以后再一步一步加上推理。关于哪些应用，具体的有，比如文本生成，把一首诗生成出来，但是不太符合逻辑，所以要结合逻辑生成诗句，会对人类的文档生成巨大的影响。再比如翻译、信息抽取，会对某个垂直领域，财经、医疗等。不一定会产生100%好，其实60%也可以产生很多效益。
雷鸣教授：NLP最近在挑战图灵测试吗？目前有多大进展。算力的重要性。
周明教授：真正的人工智能，凭图灵测试，其实并不能代表。大家要尊重算力，它体现了解码能力、信息抽取能力。人类建模的能力，常识知识推理。算力要有的话当然要有，还是要强化建模能力，去潜心做研究。
雷鸣教授：量变到质变，基于词法语法、基于概率统计(算力开始体现)、基于深度学习(更强的算力)，算力的提升会对算法有更好的体现，但是并不是要以算力为王，根据算力的基础，做出更好的模型。
雷鸣教授：如何理解非自然语言，比如写代码，计算数学公式
周明教授：…………，常识结合推理，认知。
雷鸣教授：同声传译是否会被替代？
周明教授：长期来看，很多场合会被替代，但短期来看，其实还有很长的路要走。比如碰到的背景噪声、专业术语、容错度低(场合严谨)等技术难点，可以探讨人机结合，但是实用上目前不太好，作为技术人员，当然希望越来愈好！
个评：NLP结合CV，在未来，会有意想不到的突破点！
备注：以上对话环节的文本编辑，为博主总结，与原文稍微有异，请以原文录音为准，欢迎网友留言探讨。
现场PPT
演讲PPT
演讲的五个部分
Multi-lingual capablity
少语料翻译
Multi-model
多模态搜索
VQA：利用VQA数据集，3000个词汇表，做出预测，输出最优词汇。
VQA中，犯常识性错误案例，基于常识改进图像认知，修正VQA的结果。
图像搜索与文本搜索的结合，提高用户搜索体验。
MRC
机器阅读理解
MSRA以前的MRC框架
几个优点
个性化推荐
用户画像，知识图谱，(以前喜欢的+预测未来喜欢的)，可解释性推荐(解释的推荐理由)
实现的技术
未来的技术
其实，还有文本生成等应用。
未来几个比较好的研究课题
欢迎来MSRA访问、学习！