【组队学习】【28期】基于transformers的自然语言处理(NLP)入门

基于transformers的自然语言处理(NLP)入门

论坛版块:

http://datawhale.club/c/team-learning/39-category/39

开源内容:

https://github.com/datawhalechina/Learn-NLP-with-Transformers

学习目标

自然语言处理(Natural Language Processing, NLP)是一种重要的人工智能(Artificial Intelligence, AI)技术。我们随处可以见到NLP技术的应用,比如网络搜索,广告,电子邮件,智能客服,机器翻译,智能新闻播报等等。

最近几年,基于深度学习(Deep Learning, DL)的NLP技术在各项任务中取得了很好的效果,这些基于深度学习模型的NLP任务解决方案通常不使用传统的、特定任务的特征工程而是仅仅使用一个端到端(end-to-end)的神经网络模型就可以获得很好的效果。

本教程将会基于最前沿的深度学习模型结构(transformers)来解决NLP里的几个经典任务。通过本教程的学习,我们将能够了解transformer相关原理、熟练使用transformer相关的深度学习模型来解决NLP里的实际问题以及在各类任务上取得很好的效果。

基本信息

  • 航路开辟者:多多、erenup、张帆、张贤、李泺秋、蔡杰、hlzhang
  • 领航员:段秋阳
  • 航海士:多多、erenup、张帆、张贤、李泺秋、蔡杰、hlzhang
  • 学习周期:16天
  • 定位人群:有一定NLP基础的学员。
  • 特别提示:无。

任务安排

开营视频

内容介绍

01
02
03
04
05
06
07
08
09

组队学习之余,来读读组队学习中发生的故事!

希望参与活动的学习者,来读读组队学习的注意事项!


(0)

相关推荐

  • 2019年上半年收集到的人工智能自然语言处理方向干货文章

    2019年上半年收集到的人工智能自然语言处理方向干货文章 自然语言(NLP)发展史及相关体系 读了这篇文字,做年薪百万的NLP工程师 聚焦机器"读.写.说.译",探寻NLP未来之路 ...

  • 2021年浅谈多任务学习

    浅谈多任务学习 全文约1w字,阅读时间约23分钟. 写此文的动机: 最近接触到的几个大厂推荐系统排序模型都无一例外的在使用多任务学习,比如腾讯PCG在推荐系统顶会RecSys 2020的最佳长文: P ...

  • 量子NLP即将到来?剑桥量子宣布:成功实现迄今最大规模量子自然语言处理

    当地时间3月2日,一家名为"剑桥量子计算"(Cambridge Quantum Computing,CQC)的创企宣布,他们在在线预印本库arxiv上发表了一篇研究论文,该论文提供 ...

  • 【技术综述】深度学习在自然语言处理中的应用发展史

    本篇介绍深度学习在自然语言处理(NLP)中的应用,从词向量开始,到最新最强大的BERT等预训练模型,梗概性的介绍了深度学习近20年在NLP中的一些重大的进展. 作者&编辑 | 小Dream哥 ...

  • 深度学习基本概念|自然语言处理

    自然语言处理是神经网络的经典应用领域之一,所谓自然语言处理,就是让机器理解人类的语言,英文为Natural Language Processing, 简称NLP,是人工智能的一个重要方向,目前生活中已 ...

  • 提供基于transformer的pipeline、准确率达SOTA,spaCy 3.0正式版发布

    机器之心报道 作者:小舟.杜伟 spaCy 3.0 正式版来了. spaCy 是具有工业级强度的 Python NLP 工具包,被称为最快的工业级自然语言处理工具.它支持多种自然语言处理的基本功能,主 ...

  • Transformer的中年危机

    卷友们好,我是rumor. 最近Transformer被各种「质疑」,上周CV圈已经杀疯了,多个大佬接连发文,把早已过时的MLP又摆了出来: 5月4日,谷歌挂出<MLP-Mixer An all ...

  • 深度学习领域,你心目中 idea 最惊艳的论文是哪篇?

    前2个是NLP领域的基础工作,早已"走向世界",在CV,ASR中有了广泛应用.后3个基于前两项工作进行了创新和推广,在语义解析子任务Text2SQL上大放光彩. 提出Transfo ...

  • 2020年深度学习技术发展综述

    来源:无人系统技术 作者:王亚珅 摘要:对深度学习领域的研究进行综合评述,并对其进一步发展方向进行分析.首先分析围绕注意力机制的深度学习技术最新研究成果,以及在自然语言处理领域取得突破性进展的巨型预训 ...

  • 我们用transformer干啥?

    前言 2021年4月,距离论文"Attention is all you need"问市过去快4年了.这篇论文的引用量正在冲击2万大关. 笔者所在的多个学习交流群也经常有不少同学在 ...