结论
#1.在attention中q 和 k 的维度相同
在计算a1,i的时候
q1和ki做点乘积
模型中计算attention用的就是
Scaled Dot-Product Attention
#2 d_k=64 在计算attention的时候注意 d_k=64最好要能开根号，16,25,36,49,64,81（在模型训练的时候梯度会更加明显）
为什么要除以根号d(点积，会随着维度的增加而增加，用根号d来平衡)
#3 softmax
当 dim=0 时，是对每一维度相同位置的数值进行softmax运算；
当 dim=1 时，是对某一维度的列进行softmax运算；
当 dim=2 或 -1 时，是对某一维度的行进行softmax运算；（模型中的dim=2）
a1,i 输入是256存在 8个头每个头的维度是64
计算出来的a1,i经过一个softmax(按行运算),然后乘以d_v=64
输入的维度为线性转化之后的维度，d_model=256
此处的输入向量应该是词嵌入空间里的词向量（第一层）
1.d_k=64, d_model=256, d_v=64,（k和v选取可以开根号的数值，模型训练的时候梯度会更加明显）
li
输入一个256维度的词向量，d_k=64，d_v=64,n_head 8，64*8=512 (q和k的维度相同)
query”，（8头即为64*8，q1,q2,q3,q4,q5,q6,q7,q8,8个矩阵）（q要match其他人）
“key”，（to be matched）
“value”(被提取)
1.x1*q1=wq1
2.q1对k1做attention(得到a1,1,q1,k2=a1,2)
用的是ScaledDotProductAttention
是什么向量呢？有什么用呢（有助于计算attention得分）
训练的参数是这三个权重矩阵
