3-word2vec【对比模型】
NNLM
-
所以输入层是（n-1）*d的输入，计算尽量能用矩阵 ，就不用循环
- softmax的结果是0-1的概率值，并且和为1
- softmax层和词表数V相关，所以需要加速softmax
评价指标语言困惑度和loss的关系
RNNLM
-
预测第n个词，直接使用了前面所有的n-1词，并没有像NNLM应用马尔可夫假设
word2vec
-
技巧：负采样，分层的softmax，对常用单词进行抽样
skip-gram:中心词预测周围词
idx 词表的词id,可以映射到一个矩阵，再转换成向量
CBOW:周围词预测中心词
-
是一个词袋模型，不考虑词的顺序
