一、Gensim简介
Gensim是一个功能强大且高效的Python库,专门处理原始、非结构话的纯文本文档。内置了多种主流词向量和主题模型算法,如Word2Vec、TF-IDF、LSA、LDA等。
1.1. 核心概念
Gensim中的概念
语料库: 训练数据集
词典:词语( token)映射到唯一整数ID的词语表。
向量: 一篇文档转换成一个数学向量
稀疏向量: 对于稀疏的向量,通常只记录非零项的索引和值,不会存储所有0值。
模型:是一个用于向量转换的算法。如TfidfModel可以将一个由词频构成的词袋向量,转换为一个由TF-IDF权重构成的向量。