0x01 分析
先分析QQ空间说说页面，确定我们要爬取的内容，我要爬取的是说说内容。由于QQ空间用户巨大，不可能采用静态输出内容，很有可能是通过接口获取用户说说信息然后进行渲染输出。为了验证我们的猜想我们看下网络请求。
1.png
图片.png
0x02 数据爬取
可以确定该接口即为说说接口，有了接口剩下的就好操作了，直接撸代码爬数据。接口返回的数据是JSON格式，直接解析就OK。
#-*- coding:utf-8 -*-
#
from bs4 import BeautifulSoup
#from urlparse import urljoin
import requests
import json
import csv
import sys
import re
import time
import codecs
reload(sys)
sys.setdefaultencoding( "utf-8" )
csv_file = file("rent.csv","ab+") #打开rent.csv
csv_file.write(codecs.BOM_UTF8)
csv_writer = csv.writer(csv_file, delimiter=',') # 创建writer对象，指定文件与分隔符
def get_cookie():
with open('cookie.txt','r') as f:
cookies={}
for line in f.read().split(';'):
name,value=line.strip().split('=',1) #1代表只分割一次
cookies[name]=value
return cookies
def get_row(i):
url = "https://h5.qzone.qq.com/proxy/domain/taotao.qq.com/cgi-bin/emotion_cgi_msglist_v6?uin=1056680519&inCharset=utf-8&outCharset=utf-8&hostUin=1056680519¬ice=0&sort=0&pos={pos}&num=20&cgi_host=http%3A%2F%2Ftaotao.qq.com%2Fcgi-bin%2Femotion_cgi_msglist_v6&code_version=1&format=jsonp&need_private_comment=1&g_tk=1835140580&qzonetoken=79638c17978916ad05939c80583e2478e6b640717a4063ed5d0c6b4d5156fad804db82c1518aad5ff4"
response = requests.get(url.format(pos=i),cookies=get_cookie()) # 抓取目标页面
text = json.loads(response.text[10:-2])
max = len(text["msglist"])
for x in range(0,max):
conlist = text["msglist"][x]["conlist"]
created_time = text["msglist"][x]["created_time"]
cmtnum = text["msglist"][x]["cmtnum"]
time_local = time.localtime(created_time)
dt = time.strftime("%Y-%m-%d %H:%M:%S",time_local)
if not conlist:
continue
con = re.search("(?<=con': u')(.+?)(?='})",str(conlist))
if not con:
continue
print con.group().decode('unicode_escape')
csv_writer.writerow([con.group().decode('unicode_escape'),dt,cmtnum])
if __name__ == "__main__":
i = -20;
while True:
i += 20
get_row(i)
print i
if i >=2740:
break
将url更换成自己抓取到的地址，需要注意内部包含一个{pos},另外在根目录下建立一个cookie.txt文件，将cookie写进去。然后就可以愉快的采集数据了。
图片.png
跑完以后会在根目录下生成一个rent.csv的文件。里面就是采集下来的数据。
0x03 制作云图
因为爬取出来评论数据都是字符串，所以需要对整个字符串进行分词，然后统计每个词语出现的评论。我采用 jieba 库来进行分词，采用WordCloud制作云图。代码就参考网上开源的代码。
import matplotlib.pyplot as plt
from wordcloud import WordCloud
import jieba
text_from_file_with_apath = open('1.txt').read() #1.txt为待分析处理文本
wordlist_after_jieba = jieba.cut(text_from_file_with_apath, cut_all = True)
wl_space_split = " ".join(wordlist_after_jieba)
my_wordcloud = WordCloud().generate(wl_space_split)
plt.imshow(my_wordcloud)
plt.axis("off")
plt.show()
先安装相关库
pip install wordcloud
pip install jieba
如果报编码错误是因为wordcloud 默认使用了DroidSansMono.ttf 字体库，改一下换成一个支持中文的ttf 字库，丢到wordcloud的目录下面并修改wordcloud.py中的第28行就可以了。
最后制作出来的云图效果是：
结果.png
个人感觉结果不是很符合我的气质，哈哈，应该是算法有关系。于是我又将相关数据丢到在线生成词云的网站看了看：
图片.png
0x04 结语
结合两张分析图可以看出从我的第一条说说到现在，我的心路历程，总结下来就是：
我吐槽过这牛逼的世界、也感叹过这烦忧的人生。
我说过无数的晚安、也表达过年少的相思。
我喝过无数的励志鸡汤、但也会对世界产生不安。
我有过孤独的时候，但也看过了很多风景。
看来人啊，总是在成长啊。
