Transformer 模型 （速度快）
使用了 Self-Attention 机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。
Transformer是一个Sequence to Sequence model，特别之处在于它大量用到了self-attention。
self-attention可以代替RNN
image.png
self-attention： q、k、v、
x-->a(embedding)
q=w1a、k=w2a、 v=w3a
详细过程请参考下面的链接
最后可以得到的矩阵乘法可以用GPU加速。
Multi-head Self-attention
做多个映射，产生多个a,然后concat
image.png
image.png
位置Embedding 用PE表示. 是为了加入input的顺序。
image.png
