最近想训练专业领域的语料库,深度学习领域python的版本较多,国内普遍使用gensim来训练,而word2vec是Google提出的,Tensorflow上有例子实现。最近tensorflow越来越流行,所以考虑采用tensorflow来训练,可能能达到更快的训练速度,在技术方案上更符合主流。经过一周的实验,发现效果不如人意。具体如下:
-网上评估gensim的效果比tensorflow好很多。原文链接
-没有找到tensorflow运行windows上的word2vec说明,word2vec_basic运行没有问题,但高级版需要编译op。
-没有找到tensorflow上word2vec版本中的questions_words.txt中文方面的具体应用。
上述情况说明gensim在文本训练的难易程度、准确率方面比tensorflow示范程序里面介绍的方法好多了。但国内没有找到具体的原因,最后在stackoverflow.com上找到了一篇文章,详细说明了可能的原因,让我彻底放弃了tensorflow上实现word2vec的想法。
经过实际测试, gensim通过Cpython来实现底层算法,速度很快,简单易用。
Word2Vec 究竟选择Tensorflow还是 gensim
©著作权归作者所有,转载或内容合作请联系作者
- 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
- 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
- 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
推荐阅读更多精彩内容
- 机器学习(Machine Learning)&深度学习(Deep Learning)资料(Chapter 1) 注...
- 情感极性分析,即情感分类,对带有主观情感色彩的文本进行分析、归纳。情感极性分析主要有两种分类方法:基于情感知识的方...
- 作者 | 武维AI前线出品| ID:ai-front 前言 自然语言处理(简称NLP),是研究计算机处理人类语言的...
- 前言 本文根据实际项目撰写,由于项目保密要求,源代码将进行一定程度的删减。本文撰写的目的是进行公司培训,请勿以任何...