1.引入Slef-Attention的原因
image.png
在自然语言处理中，使用RNN（这里指的的是LSTM）处理输入输出数据的时候，LSTM可以解决长文本依赖，因为他可以依赖于前面的文本，且不能够做并行计算，导致运算的速度非常慢。
image.png
所以有很多学者就会使用CNN去替代RNN，CNN需要叠加许多层，就可以看到所有的序列信息，并且可以并行计算。但是存在一个问题，就是需要叠加很多层，这样也间接的导致了效率变低。
image.png
所以引入的self-attention机制，就可以解决这两个问题：
- 1.看到每一个节点对所有节点的依赖
- 2.可以进行叠加运算
如右图所示，b1可以依赖于a1，a2，a3，a4，b2也是如此。
2.self-attention原理讲解
2.1大致原理讲解
image.png
- 1.计算a
x1，x2，x3，x4会乘上一个矩阵W得到a1，a2，a2，a3。 - 2.计算q，k，v
通过a与一个矩阵w计算可以得到q，k，v，三个值
其中每个值的作用和计算过程如下：
q：query（用于去匹配其他值的）， qi=Wqai
k：key（用于被匹配）, ki=Wkai
v：抽取的信息, vi=Wvai - 3.计算
image.png
那每一个query q去对每一个key k做attention,其实就是q1与ki做点乘计算
其中：1,i=q1ki
- 4.计算
这个算法就是将所有的相加在一起，然后进行一个soft-max输出，得到每一个
image.png - 5.计算b
将的与每个vi做一个点乘，然后再相加，就得到了b，也就最终的输出。
这整个过程就是self-attention机制,计算每个节点与其他节点之间的依赖.
image.png
2.2 数学计算方式
- q,k,v的矩阵计算
image.png
因为q是wq与每一个a进行点乘得到的,所以可以把所有的a看做一个矩阵,就是wq与a矩阵计算的结果,这样就达到了并行计算了.
k,v的计算过程也是如此. - 计算
image.png
),所以可以把所有的k看做一个矩阵,这样就是k矩阵与q的矩阵计算.
- 计算
image.png
把之前计算的 - 计算b
image.png
将
整个过程抽象化如下图所示:
image.png
