从今天开始，我会再看一遍Transformer（这是第3遍了吧……）。
这次是依据Transformer 模型的 PyTorch 实现进行学习，再梳理一下Transformer模型的重点，最后用Pytorch实现。
本来想用AllenNLP一步到位，但是前天敲了一天发现不行，我对Pytorch不懂，同时还是不了AllenNLP，干脆从头再来。
2. encoder和decoder
一般都会把encoder和decoder分开介绍，感觉还是合在一起有对比。
在这里我仅截取了encoder和decoder。
在原始论文中，encoder和decoder都包含有6层。
- encoder的每一层是由一个Multi head self-attention和一个FeedForward构成，两个部分都会使用残差连接（residual connection）和Layer Normalization。
- decoder的每一层比encoder多了一个multi-head context-attention，即是说，每一层包括multi-head context-attention、Multi head self-attention和一个FeedForward，同样三个部分都会使用残差连接（residual connection）和Layer Normalization。
- encoder和decoder通过context-attention进行连接。
对比会发现，红框是相同的，篮框是多出来的那个block。
3. Attention机制
看到了encoder和decoder里面的block，就自然会考虑“什么是Attention”。
前面已经说了，Attention实际上可以理解为权重。attention机制也可以分成很多种。Attention? Attention!一文有一张比较全面的表格
multi head self-attention
attention机制有两个隐状态，分别是输入序列隐状态和输出序列隐状态
，前者是输入序列第i个位置产生的隐状态，后者是输出序列在第t个位置产生的隐状态。
所谓multi head self-attention实际上就是输出序列就是输入序列，即是说计算自己的attention得分，就叫做self-attention。
multi head context-attention
multi head context-attention是encoder和decoder之间的attention，是两个不同序列之间的attention，与self-attention相区别。
如何实现Attention？
Attention的实现有很多种方式，上面的表列出了7种attention，在Transformer中，使用的是scaled dot-product attention。
为什么使用scaled dot-product attention。Google给出的解答就是Q（Query）、V（Value）、K（Key），注意看看这里的描述。通过query和key的相似性程度来确定value的权重分布。
scaled dot-product attention 和 dot-product attention 唯一的区别就是，scaled dot-product attention 有一个缩放因子， 叫。
表示 Key 的维度，默认用 64。
使用缩放因子的原因是，对于d_k很大的时候，点积得到的结果维度很大，使得结果处于softmax函数梯度很小的区域。而在梯度很小的情况时，对反向传播不利。为了克服这个负面影响，除以一个缩放因子，可以一定程度上减缓这种情况。
我们对比一下公式和论文中的图示。
以下为实现scaled dot-product attention的算法和图示对比，我尽量搞得清楚点。
可以发现scale就是比例的意思，所以多了scale就是多了一个。
接下来就是一个softmax，然后与V相乘
在decoder的self-attention中，Q、K、V都来自于同一个地方（相等），它们是上一层decoder的输出。对于第一层decoder，它们就是word embedding和positional encoding相加得到的输入。但是对于decoder，我们不希望它能获得下一个time step（即将来的信息），因此我们需要进行sequence masking。可以看到里面还有一个Mask，这个在下面会详细介绍。
如何实现multi-heads attention？
理解了Scaled dot-product attention，Multi-head attention也很简单了。论文提到，他们发现将Q、K、V通过一个线性映射之后，分成h份，对每一份进行scaled dot-product attention效果更好。然后，把各个部分的结果合并起来，再次经过线性映射，得到最终的输出。这就是所谓的multi-head attention。上面的超参数h就是heads数量。论文默认是8。
Multi-head attention允许模型加入不同位置的表示子空间的信息。
我们对比一下公式和论文中的图示。
其中
