268G+训练好的word2vec模型(中文词向量)

  从网上了解到,很多人缺少大语料训练的word2vec模型,在此分享下使用268G+语料训练好的word2vec模型。

训练语料

image.png

模型参数

  • window=5
  • min_count=10
  • size=128
  • hs=1
  • negative=0
  • iter=5
  • ps:其它参数见gensim库,执行代码为:gensim.models.Word2Vec(sentence, window=5, min_count=10, size=128, workers=4,hs=1, negative=0, iter=5)

其它相关

  1. 分词词典使用了130w+词典。分词代码:jieba.lcut(sentence),默认使用了HMM识别新词;
  2. 剔除了所有非中文字符;
  3. 最终得到的词典大小为6115353;
  4. 模型格式有两种bin和model,使用方式:
    a. bin模式:model = gensim.models.KeyedVectors.load_word2vec_format(model_path, binary=True)
    b. model模式:model = gensim.models.Word2Vec.load(model_path)
  5. 文件压缩后大小与未压缩相近,因此未压缩。

下载链接
链接:https://pan.baidu.com/s/1ckkH_eT-WS4SN73Iq9Q_5A 密码:9aza

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • 模型创建 Gensim中 Word2Vec 模型的期望输入是进过分词的句子列表,即是某个二维数组。这里我们暂时使用...
    chaaffff阅读 2,138评论 0 5
  • 1. 导入   这是语言表示系列的第1篇,主要讲述了分布式表示里的Word2vec方法。该系列目前暂定有4篇语言的...
    brucep3阅读 3,258评论 0 5
  • 文本关键词抽取,是对文本信息进行高度凝练的一种有效手段,通过3-5个词语准确概括文本的主题,帮助读者快速理解文本信...
    atLee阅读 22,372评论 8 46
  • NLP技术已经非常成熟,各行各业都需要有专门的NLP技术。网上介绍gensim的材料很多,有几种类型: 翻译,摘录...
    hohoha阅读 6,694评论 0 1
  • 温馨的爱(之一) 昨天下午,我站在学校大门口翘首等待女儿的时候,前面也站着一位像我一样的妈妈。我注意到了她的头发下...
    东平糊粥儿阅读 254评论 0 3