分析爬取的网易云音乐歌词生成词云

上篇文章我们成功获取到了 等什么君 的歌词,那么我们就分析下,她都写了些什么。

1.生成一个歌词文件

使用上篇文章写的write_fil_txt方法把歌词写入一个文件中

def write_fil_txt(singer_name, lyric):
    print('正在写入{}歌曲...'.format(singer_name))
    if lyric is not None:
        with open('{}.txt'.format(singer_name), 'a', encoding='utf-8') as fp:
            fp.write(lyric)

生成的一个名为 等什么君.txt 的歌词文件


2.读取停用词

def stop_words_list(filepath):
    stop_words = [file_line.strip() for file_line in open(filepath, 'r', encoding='utf-8').readlines()]
    return stop_words

3.对歌词分词

使用jieba分词库对爬下来的歌词进行分词

def seg_sentence(sentence):
    sentence_seg = jieba.cut(sentence.strip())
    stop_words = stop_words_list('停用词表.txt')  # 这里加载停用词路径
    stop_words.append("版权") # 这里可以自定义停用词
    stop_words.append("授权")
    out_str = ''
    for word in sentence_seg:
        if word not in stop_words:
            if word != '\t':
                out_str += word
                out_str += " "
    return out_str

4.生成词云

def create_word_cloud():
    curr_path = os.path.dirname(__file__)  # 当前文件文件夹所在的目录
    font_path = os.path.join(curr_path, 'AaDouBanErTi-2.ttf')
    inputs = open('等什么君.txt', 'r', encoding='utf-8')
    outputs = open('等什么君-分词.txt', 'w', encoding='gbk')
    for line in inputs:
        line_seg = seg_sentence(line)  # 这里返回的是字符串
        outputs.write(line_seg + '\n')
    inputs.close()
    outputs.close()
    cloud = WordCloud(font_path=font_path)
    cut_texts = open('等什么君-分词.txt', 'r', encoding='gbk').read()
    word_cloud = cloud.generate(cut_texts)  # 生成词云
    word_cloud.to_file('word_cloud.png')  # 保存图片
    image = word_cloud.to_image()  # 转化为图片
    image.show()  # 展示图片

获取当前的目录留用
同时中文必须要指定中文字体才行,顺便推荐一个免费的字体网站:字体天下
调用seg_sentence方法进行分词处理
再调用WordCloud方法生成词云图片,官方文档地址:wordcloud文档

5.生成的词云图


执行完以后生成的词云图便是如上图,但是不得不说是真的丑呀,所以我又参考了下官方文档优化下。

6.根据图片颜色抠图

这里利用刚刚生成的 等什么君-分词.txt 文件进行词云生成,根据提供的背景图片适配所处位置文字的颜色。

def image_colors():
    d = os.path.dirname(__file__) if "__file__" in locals() else os.getcwd()
    text = open(os.path.join(d, '等什么君-分词.txt')).read()

    image_color = np.array(Image.open(os.path.join(d, 'gufeng.png')))
    image_color = image_color[::3, ::3]

    image_mask = image_color.copy()
    image_mask[image_mask.sum(axis=2) == 0] = 255

    edges = np.mean([gaussian_gradient_magnitude(image_color[:, :, i] / 255., 2) for i in range(3)], axis=0)
    image_mask[edges > .08] = 255

    wc = WordCloud(font_path='AaDouBanErTi-2.ttf',
                   max_words=2000, mask=image_mask, max_font_size=40, random_state=42, relative_scaling=0)
    wc.generate(text)
    # plt.imshow(wc)  # 词云的普通颜色

    image_color_generator = ImageColorGenerator(image_color)
    wc.recolor(color_func=image_color_generator)
    plt.figure(figsize=(10, 10))
    plt.imshow(wc, interpolation="bilinear")
    wc.to_file("等什么君-词云.png")
    plt.show()

7.优化后的词云图片

运行上面的代码生成的词云图片如下:



哈哈,是不是漂亮了很多,这才有词云的样子嘛。

8.使用第三方词云生成网站

要使用第三方词云网站,那么需要再把分词后的数据优化下,坐下统计生成权值,也就是出现的次数,并且把结果输出到xls文件中,实现代码如下:

def analyse_export():
    wbk = xlwt.Workbook(encoding='ascii')
    sheet = wbk.add_sheet("WordCount")  # Excel单元格名字
    word_list = []
    key_list = []
    for line in open('等什么君-分词.txt', encoding='gbk'):
        item = line.strip('\n\r').split('\t')  # 制表格切分
        tags = analyse.extract_tags(item[0])  # jieba分词分析
        for t in tags:
            word_list.append(t)
    word_dict = {}
    with open('等什么君-分析.txt', 'w') as wf2:
        for term in word_list:
            if term not in word_dict:
                word_dict[term] = 1
            else:
                word_dict[term] += 1
        order_list = list(word_dict.values())
        order_list.sort(reverse=True)
        # print(order_list)
        for i in range(len(order_list)):
            for key in word_dict:
                if word_dict[key] == order_list[i]:
                    wf2.write(key + ' ' + str(word_dict[key]) + '\n')  # 写入txt文档
                    key_list.append(key)
                    word_dict[key] = 0

    for i in range(len(key_list)):
        sheet.write(i, 1, label=order_list[i])
        sheet.write(i, 0, label=key_list[i])
    wbk.save('等什么君-分析.xls')  # 保存为xls文件

结果如下:


第三方网站有很多:wordleworditout
tagxedowordarttocloud图悦BDP个人版等等。
我这使用的是wordart:
WORDS -> Import -> 把xls中内容拷贝到这里 -> Import words


SHAPES -> Add image -> Open image from your computer选择要上传的图片->OK

FONTS -> Add font -> 选择字体 ->打开

最后点击 Visualize 即可:

很明显,有了权值之后生成的词云图片更好看,不过这个网站下载高清图片是需要收费的,普通的下载不收费。
好了,通过这个词云图能清晰的看出 君大 都写了些什么。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。