2022-03-11

一个序列中通常含有多个词向量，那么如何将它们表示为一个多层感知器的输入向量呢？一种方法是将n个向量拼接成一个大小为n×d的向量，其中d表示每个词向量的大小。不过，这样做的一个问题是最终的预测结果与标记在序列中的位置过于相关。例如，如果在一个序列前面增加一个标记，则序列中的每个标记位置都变了，也就是它们对应的参数都发生了变化，那么模型预测的结果可能完全不同，这样显然不合理。在自然语言处理中，可以使用词袋（Bag-Of-Words，BOW）模型解决该问题。词袋模型指的是在表示序列时，不考虑其中元素的顺序，而是将其简单地看成是一个集合。于是就可以采用聚合操作处理一个序列中的多个词向量，如求平均、求和或保留最大值等。