关于词云图

词云图,也叫文字云,是对文本中出现频率较高的“关键词”予以视觉化的展现,词云图过滤掉大量的低频低质的文本信息,使得浏览者只要一眼扫过文本就可领略文本的主旨。

一、先看看几个词云图

从简书签约作者的自我介绍中提取关键词,统计后制作的词云图。看看这些关键词,你能想到是哪位签约作者?

从简书首页、7日热门文章进行文章分类统计后,生成的词云图。想上首页热门,应该选择上面几个类型来写。

关于在简书上写什么,V先生有一个高度的概括总结:

三教 × 九流:「生活、工作、学习」三教,「学术思辨、故事、诗歌、时评、随笔、科技工具、书影音、新技能 get、吐槽」九流。

抓取2016年简书·读书专题文章中的书名,生成的词云图,今年你读过哪几本书?

简书头牌-六神的词云图,抓取他的120篇文章标题,进行分词统计后生成。

抓取51Job C++嵌入式岗位,职位描述分词后,得到的词云图,上图是硬技能的要求,下图是软实力的要求。

二、开始制作词云图

工具: 我使用的是TAGUL,https://tagul.com/一款在线词云制作工具,非常简单。

TAGUL

步骤:

1)导入文本

Import words , 可以直接粘贴导入文本数据,或者以web url的方式导入。文本数据包括关键词和size。

Add,是添加一个关键词和size

2)选择形状 -- 自定义形状图片

TAGUL提供了一些模板图形,左边是分类主题。

一般图形选取的原则,看关键词的内容来定,如公司LOGO,人物头像,需要上传你的图形图片,点 ADD IMAGE。自定义形状图片,有一个技巧,图片的清晰度不要求很高,轮廓清楚就好。

调整形状参数

还一个有小技巧,如果图形有背景,或边缘需要修理一下的话,我没有采用PS这一类的重型武器,直接用PPT中的图像就可以搞定,快捷方便。比如小六之前的头像,原图下巴处有一圈光影,不处理的话,形成的词云图是左边的,用PPT修好后的是右图,看上去是不是清秀多了。

修图后的前后对比

3)修改字体

注意TAGUL默认的都是英文字体,关键词如果是中文或有中文是无法显示出来的。

点Add Font添加就行,添加你电脑上 C:/WINDOWS/font 文件夹下的你喜欢的一种字体就行。

注意,如果你使用的是Mac,需把Windows下的字体拷一个过来进行添加就OK。

4)选择文字排列方向

选择文字方向即可。

5)生成词云 -- 下载

点击 "Visualize" 就可以生成。在Download and Share中下载标清(SQ)图片,就是你想要的词云图。

TAGUL付费版可以下载高清的图片,也可以生成嵌入的网页代码,词云有动态效果。

怎么样,以上操过很简单吧。其实这些不是关键,关键是如何获得词源和词的频度(size)。

进阶篇

三、词源获取:爬虫和分词技术

我用以获取关键词的方法都是使用Python爬虫,如爬取简书用户信息,爬取简书首页、热门文章标题,爬取51JOB招聘职位信息 ......

注意,这时候你拿到的还不是关键词,是句子或段落,怎么得到关键词?就是把句子切成多个词语。看过老罗锤子M1发布会的一定对Big Bang有深刻的印象,对的,Big Bang就是分词的应用。

BigBang

我常用的两款分词工具,一个是在线分词工具基于深度学习的中文在线抽词-PullWord,另一个是结巴分词(jieba)。再把这些关键词进行分类汇总得到词频数据,选择那些高频词,按上面的方式制作词云图。

比如你看到的上面软技能的关键词,实际上是从所有职位描述进行分词得到的372,739个词,再进行分类汇总后得出的高频词。分类汇总用的是SQL聚合函数,也可以用Excel。

爬虫和分词都需要编程实现。如果你没有编程方面的基础,这一步也可以简化来做,就是主观选取一些关键词,随机或手动指定词频(size)。

所以一个完整的词云图的制作过程应该是:网络抓数据(Python或R语言)— 分词 — 分类汇总(SQL)— 使用词云工具生成云图。

四、其他词云工具

有比较多的在线词云工具,javascript也可以开发动态词云工具。

另外推荐:Tagxedo,使用方法跟TAGUL差不多。

ECharts有专门的词云,不过展现力还是比较单薄点。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,544评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,430评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,764评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,193评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,216评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,182评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,063评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,917评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,329评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,543评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,722评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,425评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,019评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,671评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,825评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,729评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,614评论 2 353