原链接：https://jalammar.github.io/illustrated-transformer/

翻译： https://blog.csdn.net/longxinchen_ml/article/details/86533005
官翻：https://blog.csdn.net/yujianmin1990/article/details/85221271

总结：

自注意力: 在输入句子中，句子自己会学习自己的每个输入单词与其他单词的联系。
比如代词代指的是哪个单词。

计算自注意力步骤:

第一步

就是从每个编码器的输入向量（每个单词的词向量），通过三个权重矩阵，生成三个向量。
也就是说对于每个单词，我们创造:
一个查询向量query
一个键向量key
一个值向量value
这三个向量是通过词嵌入与三个权重矩阵后相乘创建的。

第二步 计算得分。

query_​​​ * key_i : 得出这个单词和每个单词的联系。 学哪个单词，用哪个单词的query向量
假设我们在为这个例子中的第一个词“Thinking”计算自注意力向量，我们需要拿输入句子中的每个单词对“Thinking”打分。这些分数决定了在编码单词“Thinking”的过程中有多重视句子的其它部分。
学谁的
这些分数是通过打分单词（所有输入句子的单词）的键向量与“Thinking”的查询向量相点积来计算的

第三步： 将分数除以使用的键向量的维数64的平方根

第四步 然后通过softmax传递结果。

softmax的作用是使所有单词的分数归一化，得到的分数都是正值且和为1。
这个softmax分数决定了每个单词对编码当下位置（“Thinking”）的贡献。显然，已经在这个位置上的单词将获得最高的softmax分数，但有时关注另一个与当前单词相关的单词也会有帮助

第五步 打分_attention score

将每个值 Value向量乘以softmax分数(这是为了准备之后将它们求和)。
这里的直觉是希望关注语义上相关的单词，并弱化不相关的单词(例如，让它们乘以0.001这样的小数)。

第六步 是对加权 值向量(value)求和

译注：自注意力的另一种解释就是在编码某个单词时，就是将所有单词的表示（值向量）进行加权求和，而权重是通过该词的表示（键向量）与被编码词表示（查询向量）的点积并通过softmax得到。），然后即得到自注意力层在该位置的输出(在我们的例子中是对于第一个单词)。