短评论处理：评分、分词与词频统计、可视化

过程

1 导包、导入数据，取内容列
2 函数：将评论列按行评分输出数据待用
3 函数：将评分符合条件的部分取出、分词，生成词频
4 函数：利用wordcloud生成可视化词云

### 导包
import snownlp
import pandas as pd
import numpy as np

from snownlp import SnowNLP
from wordcloud import WordCloud,STOPWORDS
import matplotlib.pyplot as plt

### 导入数据
df_rate1 = pd.read_excel('C:\\Users\\chai\\Downloads\\评论\\圣元优博58圣元优博2段奶粉400g盒装.xlsx')
df_rate1.head()

df_rate1['评论']
df_rate = df_rate1.iloc[1:10]['评论'].dropna(axis = 0)
print((df_rate))

1                            第一次购买，是正品，比实体店便宜很多?，宝宝喜欢喝
2                                       买了很多次了，挺不错，又划算
3     应该是正品吧，跟我在实体店买的有点不一样，实体店买的罐装没有网上买的那么腥，实在受不了这个腥味，
4    卖家发货快态度好，俩孩子一直喝这家店的奶粉，信任旗舰店，正品能积分，预备年前快递停运，囤货中...
5                             挺好的，宝宝一直喝奶粉。这个官方旗舰店买更放心。
6                                  给个全五分好评，一直在这里买这个奶粉。
7                                             奶粉宝贝吃的挺好
8                                       一直这个牌子，宝贝爱喝，好评
9                               比实体店便宜两块钱！但是味道好像不太一样！！
Name: 评论, dtype: object

### snownlp 处理

def rate_nlp(ratelist):
    global df_out
    df_out = pd.DataFrame(columns = ['content','sentiments'])
    for item in ratelist:
        #print(item)
        s = SnowNLP(item)
        wordlist = s.words
        #print(wordlist)
        data = {'content':item,'sentiments':s.sentiments}
        tmp = pd.DataFrame(data,index=['0'])
        df_out = df_out.append(tmp,ignore_index = True)
        df_out.head()
        #print(dataPositive['sentiments'])
        #print(s.keywords(5))
    #df_out.dropna(axis = 0)
    del tmp
    return df_out
rate_nlp(df_rate1['评论'].dropna(axis = 0))

#筛选所需列。
#df_need = df.iloc[:-1]

def select_key_words(df,sentiif):
    
    df2 = df[df.sentiments > sentiif]
    words_key_list = []
    words_all_list = []
    for item in df2.content:
        s = SnowNLP(item)
        words_key_list = words_key_list+s.keywords(3)
        words_all_list = words_all_list+s.words
    global words_key,words_all
    #所有词：
    words_all = dict()
    for i in words_all_list:
        words_all[i] = words_all_list.count(i)
    #关键词：
    words_key = dict()
    for i in words_key_list:
        words_key[i] = words_key_list.count(i)   
    return words_key,words_all
    
select_key_words(df_out,sentiif = 0.7)

#输入参数：字典，词+词频
def cloud_of_wordsdict(wrods_dict):
    stopwords = set(STOPWORDS)
    f = open('C:\\Users\\chai\\Documents\\哈工大停用词表.txt','r').read()
    stopwords.add(f)
    cloud = WordCloud(
            #设置字体，不指定就会出现乱码
            #设置背景色
            background_color='white',
            #词云形状
            #mask=color_mask,
            #允许最大词汇
            max_words=1000,
            #最大号字体
            max_font_size=40,
            stopwords=stopwords,
            font_path="C:\\Windows\\Fonts\\msyh.ttc",#不加这一句显示口字形乱码
        )

    #text1 = words2.decode(type["encoding"])
    wordsneed = {k: v  for k, v in wrods_dict.items() if v > 5}
    #print(wordsneed)
    plt.figure(figsize = (12, 8))
    word_cloud = cloud.generate_from_frequencies(wordsneed)
    plt.imshow(word_cloud)
    plt.axis("off")
    plt.show()
    
cloud_of_wordsdict(words_all)

词云结果

后续：

1. 优化停用词，现在有部分未生效；
1. 更好的图片显示方式，目前有点糙；
1. 函数优化，目标：输入-到直接输出。

最后编辑于：2018.01.13 15:01:36