2023-03-01
计算机处理数据，肯定希望处理有上下界的，否则很容易越界。如何把一个几乎无上界的数，比如transformer的训练数据的长度，可能是3，4，也可能是100，1000或者10000等，当然实际上不会太大，但只要数据的上界变化比较大，处理起来就比较棘手。但Transformer在position encoding中，巧妙的利用了三角函数的值域在[-1,1]之间，而定义域则比较方便缩放在一个周期内的特性。另外，其实还用到了实数和（0，1）等势的性质。
具体实现中，Transformer的position encoding把一个标量整数的位置数据转化为一个多维实数。Positional Encoding和embedding具有同样的维度d_model。例如d-model取为512，则一个token的位置编码就是一个512个元素的向量，其偶数、奇数位置的元素分别为sin和cos。sin和cos的自变量为pos/(10000^(2i/d_model)), pos/(10000^((2i+1)/d_model)), i的取值范围为[0, d_model /2)， 对于长度为L的句子，pos取值为0，1，2，……，L-1。 10000的这个值，一般来说就意味着可以训练长度为10000以内的句子。而且10000^(1/512)=1.018比较接近1.
这样，可以达到两个目的
1.每个位置有一个唯一的positional encoding.
2.两个位置之间的关系可以通过他们位置编码间的仿射变换来建模（获得）
对于1，因为Transformer是多个token并行进行训练，如果没有 Position embedding 的化，Transformer 模型并不能捕捉序列的顺序，交换单词位置后 attention map 的对应位置数值也会进行交换，并不会产生数值变化，即没有词序信息。所以要把每个token的位置信息嵌入到attention map中。Transformer 采用一对三角函数sin、cos，避免了训练得到的位置向量长度固定的尴尬，提供了相对位置信息，使得训练的模型演绎能力更强。而且sin、cos这样的组合，可以达到同一维度的位置向量之间不但可以表示不同位置，且含有相对位置信息。参考资料2对为什么把词向量E和位置向量相加而不是拼接，进行了探讨，因为相加不增加维度，训练更容易，而且从计算结果看，相加不必拼接差。
第2个目的是如何实现的呢？可以这样理解，先看三角函数和差化积公式：
而原文[1]的位置编码公式为：
根据上面的公式，可以得到：
即：
pos+k位置的位置向量可以表示为pos位置和k位置的位置向量的线性组合.It is great。
需要说明的是，其实也不一定奇偶位置非得分别使用sin和cos，及时直接前半部分sin，后半部分用cos也可以达到同样的训练效果。因为在 Multi-Head Attention 模块时的第一步—— Linear 层的线性转换，也就是所谓的全连接层进行坐标重排。
经过位置编码后，encoder和decoder的输入层中，使用的最终的输入为
input = input_embedding + positional_encoding
这里的input_embedding 就是常规embedding层，将每一个token的向量维度从vocab_size映射到d_model，论文中取512.
1，2017年的Attention is All You Need https://arxiv.org/pdf/1706.03762.pdf
2，Positional Encoding在OpenNMT中的实现代码：https://github.com/OpenNMT/OpenNMT-py/blob/668c3ef362995c55633fde592354160fec1d1efd/onmt/modules/embeddings.py
3，https://www.zhihu.com/question/347678607
4，The Annotated Transformer http://nlp.seas.harvard.edu/2018/04/03/attention.html
5, BERT为何使用学习的position embedding而非正弦position encoding? https://www.zhihu.com/question/307293465
6. Transformer Text Embeddings https://www.baeldung.com/cs/transformer-text-embeddings
