Transformer

什么是Transformer

Transformer是基于Self-attention注意力机制的一种网络结构，同时其网络结构也沿用了seq2seq的主体结构，由Encoder-Decoder流程组成，包含了multi-head（多个self-attention并行堆叠而成）、加入了位置信息编码以及mask。

Transformer的目的

Transformer最早的提出是由google2017年的一篇论文《Attention is All your need》其提出的最初目的是为了解决RNN中串行输入、串行编解码导致的速度慢的问题，RNN要等上一个输入编码完成后，才能对下一个输入进行编码，同理，解码过程也是如此，所以，Transformer提出了一种并行的结构来解决该问题。

©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容