文本表示基础

单词和句子的表示

迭代1：one-hot表示
词库：[今天 天气 很好]
句子1：[今天 天气 很好] = [1,1,1]
缺点：没有顺序和权重；稀疏；无法比较语义相似度

迭代2：出现次数
句子1：[今天 天气 很好 很好 啊] = [1,1,2]
缺点：所以，如果只记录单词的个数也是不够的，我们还需要考虑单词的权重，也可以认为是质量。这有点类似于，一个人有很多朋友不代表这个人有多厉害，还需要社交的质量，其实是同一个道理。 那如何把这种所谓的“质量”引入到表示中呢?答案是tf-idf

迭代3：TF-IDF
首先，单词在该篇文档中的频率要高，同时，单词不能出现在过多的文档中。例如，“的”会100%出现在任何一篇文档中，因此 idf("的") = log(100/100) = 0
向量长度为词库的长度
对每一个词库的单词进行计算tfidf(w)

image.png

计算向量相似度
欧氏距离，没有考虑方向；通常使用 余弦相似度

import numpy as np
def cos_sim(a, b):
    """给定两个向量,a和b,计算它俩之间的余弦相似度
    """
    dot_product = np.dot(a,b)
    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)
    return dot_product / (norm_a * norm_b)

词向量基础

image.png

image.png

词向量到句向量

mean_pooling