Base-llm 1.2.4 基于Gensim的词向量实战

一、Gensim简介

Gensim是一个功能强大且高效的Python库,专门处理原始、非结构话的纯文本文档。内置了多种主流词向量和主题模型算法,如Word2Vec、TF-IDF、LSA、LDA等。

1.1. 核心概念

Gensim中的概念
语料库: 训练数据集
词典:词语( token)映射到唯一整数ID的词语表。
向量: 一篇文档转换成一个数学向量
稀疏向量: 对于稀疏的向量,通常只记录非零项的索引和值,不会存储所有0值。
模型:是一个用于向量转换的算法。如TfidfModel可以将一个由词频构成的词袋向量,转换为一个由TF-IDF权重构成的向量。

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • """1.个性化消息: 将用户的姓名存到一个变量中,并向该用户显示一条消息。显示的消息应非常简单,如“Hello ...
    她即我命阅读 12,378评论 0 6
  • 1、expected an indented block 冒号后面是要写上一定的内容的(新手容易遗忘这一点); 缩...
    庵下桃花仙阅读 4,014评论 1 2
  • 一、工具箱(多种工具共用一个快捷键的可同时按【Shift】加此快捷键选取)矩形、椭圆选框工具 【M】移动工具 【V...
    墨雅丫阅读 4,421评论 0 0
  • 跟随樊老师和伙伴们一起学习心理知识提升自已,已经有三个月有余了,这一段时间因为天气的原因休课,顺便整理一下之前学习...
    学习思考行动阅读 3,858评论 0 2
  • 一脸愤怒的她躺在了床上,好几次甩开了他抱过来的双手,到最后还坚决的翻了个身,只留给他一个冷漠的背影。 多次尝试抱她...
    海边的蓝兔子阅读 2,775评论 1 4

友情链接更多精彩内容