总结:
维度不发生变化
具体的数值发生变化
输入的矩阵*16(256的根)然后再加上一个生成的矩阵
生成的位置矩阵是如何生成的
根据数据的第二个维度
129
生成一个[0:128]的张量size=[129]
#
在生成一个size为[1,129,256(此处的256是词嵌入维度,一般设置等于模型维度)]的零张量
#
div_term=0-256 间隔为2 取
[0,2,4,6.....256]*-0.03597
作为e的指数
#两个张量相乘[0:128]*e的次方
129*128 size=[1,129,128],取sin作为偶次项位置
取cos作为奇次项位置
最后的位置矩阵是一个维度为[1,129,256]的矩阵
原始输入5条语音数据的话要每一条语音数据加入对应的矩阵
对input加入位置参数
pos的维度[1,129]
变换的函数
batch_size=1
time_step=129(次数?)
e的次方
0-256 间隔为2
*
简单来说生成了这样的一个矩阵偶数位置是sin
奇数位置是cos