word2vec 2种训练模式

CBOW(Continuous Bag-of-Words Model)
Skip-gram(Continuous Skip-gram Model)

CBOW

通过上下文来预测当前值

输入 输入 ______ 输入 输入

Skip-gram

用当前词来预测上下文。
_____ _____ 输入 ____ ____

优化方法：

  1. Negative Sample（负采样）
  2. Hierachical Softmax
©著作权归作者所有,转载或内容合作请联系作者
平台声明：文章内容（如有图片或视频亦包括在内）由作者上传并发布，文章内容仅代表作者本人观点，简书系信息发布平台，仅提供信息存储服务。

推荐阅读更多精彩内容

  • word2vec概述
    文本表示是自然语言处理中的基础工作，文本表示的好坏直接影响到整个自然语言处理系统的性能。文本向量化是文本表示的一种...
    yousa_阅读 1,708评论 0赞 1
  • Word2Vec
    本文基本上“复现”这篇博客 / 转载自 https://blog.csdn.net/itplus/article/...
    Luuuuuua阅读 399评论 0赞 0
  • Word2vec原理详细解读
    0. 预备知识 Softmax函数： 哈夫曼树(Huffman Tree) 1.Skip-gram 从图1可以...
    zuomeng844阅读 3,784评论 2赞 2
  • 探秘Word2Vec(五)-Skip-gram模型
    之前说了那么多，现在我们正式开始接触word2vec中涉及到的两个模型，CBOW模型(Continuous Bag...
    文哥的学习日记阅读 6,530评论 0赞 6
  • Word2vec
    预备知识：LR、贝叶斯公式、赫夫曼编码、统计语言模型、n-gram模型、神经概率语言模型、词向量、词袋模型、sof...
    rssivy阅读 4,413评论 0赞 3