skip gram 的个人理解
word2vec是Google团队2013年发表的工具,包含了两个模型:skip gram 和CBOW,以及两种高效优化方法:negative sampling和层序softmax
下面讲的是skip gram模型和negative sampling优化
skip-gram模型,简单的来说就是给定一个单词后,预测在它左右两边可能会出现什么单词。
这个预测是有范围的,这个范围用window来表示,如果window是2,那么我们就预测它左右两边的两个词。在这里我把window叫滑窗 就相当与有一个固定大小的方框从左到右移动 里面会有一个中心词 除此自外还有两边的预测值 整个画框就有这些东西了 那么我们移动 中心词也会改变 周围的词也会变化 这样就生成了 我们要的样本了
例如这句话 :the cat jump over the dog. 如果中心词是jump 设置滑窗的大小是2 那么其他词就是"the cat"和"over the",如果是1,那么模型就预测左边的"cat"和右边的"over",jump这个词叫中心词,左右两边的词叫上下文
现在,我们来看一下这个skip gram是怎么处理的
以上是我的理解,参考链接:
https://www.jianshu.com/p/cdb93906607b
https://www.jianshu.com/p/8e291e4ba0da
https://zhuanlan.zhihu.com/p/27234078