【Transformer】从零详细解读

本文是对B站视频“transformer从零详细解读”的笔记，视频：https://www.bilibili.com/video/BV1Di4y1c7Zm?p=1

一、概述

TRM在做一个什么事情？

transformer包含encoder和decoder

encoder和decoder分别有六个

原论文中transformer模型结构

encoder包含以下三个部分:

二、位置编码

encoder输入部分：

1. Embedding

2. 位置嵌入

为什么需要？

位置编码公式

将词向量和位置编码相加作为模型的输入

引申一下为什么位置嵌入会有用

但是这种相对位置信息会在注意力机制那里消失

三、多头注意力机制

1. 注意力机制

1.1 基本的注意力机制

经典的注意力机制的图，颜色深的表示很受关注，浅的表示不怎么受关注。

1.2 在TRM中怎么操作

原论文中注意力机制的计算公式：

从公式角度来看：拿上面的图片举例子

两个向量越相似，点乘结果越大。

再举个栗子

四、残差和layerNorm

五、前馈神经网络

来源：https://www.icode9.com/content-4-907751.html