用python词云包wordcloud做战狼2豆瓣短评分析

在家咸鱼好多天,决定蹭一波儿票房突破40亿的《战狼2》的热度。以下分别从结果展示、数据获取、数据清洗、结构化处理等四部分分别加以阐述:

一、结果展示

词云图是是一种很直观也很有趣的文本描述形式,Python的wordcloud包就可以构建词云,并且能够自定义图片(即color_mask)。而wordcloud包在windows环境下安装时,可能会报如下错误:mocrosoft visual c++ 14.0 is required,导致安装失败。分享一个可行的解决方案:通过whl文件进行间接安装。在网站http://www.lfd.uci.edu/~gohlke/pythonlibs/#wordcloud上找到和自己系统以及python版本相吻合的wordcloud包的whl文件,然后通过pip命令即可安装成功。
在我的实验中,将获取到的短评文本经过简单的数据预处理(数据清洗、分词、计算词频)之后,生成词云图。如下图所示,字号越大的词,在拆分出的词的集合中出现频率越高。显而易见,“吴京”、“中国”、“电影”、“动作”等几个高频词表明了这部电影的关键人物、电影类型及题材等关键信息。(为了呼应电影名,找了一幅狼的图片做color_mask)

图1.战狼部分短评词云图

二、数据获取

豆瓣的开源工作做得挺好,我们需要的电影短评数据都可以静态爬下来。下图是一条短评的网页源码,非常规整。完整的代码就不贴了,只需要把LSTM天气预测那篇的正则表达式对应更改即可。

图2.一条短评的网页源码
temp_data = re.findall(r'<p.*?class="">(.*?)</p>', str(item), re.S)   #影评
self.datas.extend(temp_data)

举个反例:猫眼电影专业版的票房数据就很坑,票房、平均票价和场均人次数据还是经过动态加密的。

图3.票房数据的网页源码

对应上述源码的7、8、9行的数值如下图所示:


图4.票房数据页面版

虽然这种一层的加密方式很容易就能解出来,但是每爬一次数据都得重写对应关系也让人很烦,支持开源。

三、数据清洗

去除原始数据中的标点符号、字母和特殊字符,相当于滤波去噪的过程。

pattern = re.compile(r'[\u4e00-\u9fa5]+')
filterdata = re.findall(pattern,review_data)
clean_data = ''.join(filterdata)
图5.清洗后文本数据

四、数据结构化处理

导入字典,提高分词准确率。BosonNLP情感词典是从微博、新闻、论坛等数据来源的上百万篇情感标注数据当中自动构建的情感极性词典。
[情感词典来源:http://bosonnlp.com]
然后用jieba做分词、定义word_cloud函数参数。在这部分需要注意一点,默认字体会显示成各种颜色的方框,所以把字体改成能正常显示中文字符的simsun.ttc。当然,用其他能正常显示的也可以。

图6.默认字体的显示结果
jieba.load_userdict("D:\\文本情感分析\社交媒体词典\\BosonNLP_sentiment_score\\BosonNLP_sentiment_score.txt")  #导入社交媒体字典
wordlist_after_jieba = jieba.cut(clean_data)  #分词
word_split = " ".join(wordlist_after_jieba)
color_mask = imread("D:\\文本情感分析\\战狼2.jpg") # 读取背景图片
word_cloud = WordCloud(font_path='simsun.ttc',
            background_color="white", max_words=1000,mask=color_mask,
            max_font_size=40, random_state=42)   #wordcloud参数定义
my_wordcloud = word_cloud.generate(word_split)  #生成词云图
#画图
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • Scrapy爬虫教程一 Windows下安装Scrapy的方式和问题总结 Scrapy爬虫教程二 浅析最烦人的反爬...
    熊熊熊孩子阅读 664评论 0 3
  • 临渊羡鱼,不如退而结网。我们步步为营,从头开始帮助你用Python做出第一张词云图来。欢迎尝试哦! 在大数据时代,...
    王树义阅读 173,757评论 59 626
  • 还记得吗?小时侯他骑着三轮车,你坐在后面,上桥的时候桥头人多,你立马躺了下来。你不是怕人,你是怕人知道他是你爸爸。...
    柚子和马鞭草阅读 197评论 0 0
  • 睡到4点,哭了几分钟。睡到5点10,断断续续哭了几次,6点喊醒吃奶。
    miaoyin阅读 207评论 0 0
  • 我在小区里几乎见到过不同公司的快递哥,他们有一个同点,来去匆匆,很少送货上门,无论你收到的快递是个信封还是个包裹。...
    贾学礼零售阅读 284评论 0 0