平时最爱黄渤，智商情商双高，作品幽默又搞笑，为人也很随和。
吧啦吧啦，此处省略2万字。。。无奈，不善言辞，请原谅）
一出好戏
数据来源：猫眼app 网站上拿不到数据，只能从app获取
## 设置headers和cookie
header = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win32; x32; rv:54.0) Gecko/20100101 Firefox/54.0',
'Connection': 'keep-alive'}
cookies = 'v=3; iuuid=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; webp=true; ci=1%2C%E5%8C%97%E4%BA%AC; __guid=26581345.3954606544145667000.1530879049181.8303; _lxsdk_cuid=1646f808301c8-0a4e19f5421593-5d4e211f-100200-1646f808302c8; _lxsdk=1A6E888B4A4B29B16FBA1299108DBE9CDCB327A9713C232B36E4DB4FF222CF03; monitor_count=1; _lxsdk_s=16472ee89ec-de2-f91-ed0%7C%7C5; __mta=189118996.1530879050545.1530936763555.1530937843742.18'
cookie = {}
for line in cookies.split(';'):
name, value = cookies.strip().split('=', 1)
cookie[name] = value
## 爬取数据，每次理论上可以爬取1.5W调数据，存在大量重复数据，需要多次执行，最后统一去重
tomato = pd.DataFrame(columns=['userId', 'nickName', 'date', 'score', 'city', 'comment'])
for i in range(0, 1000):
j = random.randint(1, 1000)
print(str(i) + ' ' + str(j))
try:
time.sleep(2)
url = 'http://m.maoyan.com/mmdb/comments/movie/1203084.json?_v_=yes&offset=' + str(j)
html = requests.get(url=url, cookies=cookie, headers=header).content
data = json.loads(html.decode('utf-8'))['cmts']
for item in data:
tomato = tomato.append({'userId':item['userId'] , 'nickName':item['nickName'], 'date': item['time'].split(' ')[0], 'city': item['cityName'],
'score': item['score'], 'comment': item['content']}, ignore_index=True)
tomato.to_excel('./一出好戏.xlsx', index=False)
except:
continue
获取的评论信息，你也可以修改一下电影的ID，获取你想要的电影的数据。
我这里获取的主要信息有：用户ID，昵称，日期，评分，城市，评论内容
因为获取的用户数据会有重复数据，所以我用userId来进行去重操作
去重操作
# 根据userId进行去重, 获取去重后的真实数据
data = csvFrame.drop_duplicates(['userId'])
目标：获取全国各个城市的平均评分和对电影的热爱程度
接下来就是对数据进行过滤，筛选
# 1、查看是否有缺省参数，如果有直接删除该条数据
然后我们按城市分组，发现有很多城市的数据只有1，2条，这些数据太少不足以代表改城市，所有我们选出 >10 条数据的城市
# 根据城市进行分组
cityGroup = data.groupby("city")
# 评分人数 > 10的方为有效评分城市
countInfo = cityGroup.count()
data2 = countInfo[countInfo['userId']>10]
获取城市的评分
# # 真实数据根据城市进行分组
cityGroup2 = frame.groupby("city")
cityScores = cityGroup2['score']
# 获得城市的平均分 和 观看人数
city_com = cityScores.agg(['mean', 'count'])
citys = city_com.index
city_mean = city_com["mean"].values
city_count = city_com["count"].values
# 对打分数据进行优化处理，保留两位小数
city_mean = np.array(city_mean)
city_score = np.round(city_mean, 2)
接下来就是对数据进行可视化展示：
# 主城市打分柱状图
bar = Bar("《一出好戏》部分城市评分", "猫眼均分")
bar.add("Score", citys, city_score)
bar.show_config()
bar.render(path="./signs/评分柱状图.html")
评分柱状图
全国观看热力图
geo = Geo('《一出好戏》观众分布图', title_color="#fff",
title_pos="center", width=1200, height=600, background_color='#404a59')
geo.add("", citys, city_count, type='heatmap', visual_range=[0, 35],
visual_text_color="#fff", symbol_size=10, is_visualmap=True,
is_roam=False)
geo.render('./signs/观众分布图.html')
观众分布
观看占比
pie = Pie()
pie.add("", citys, city_count, is_label_show=True)
pie.render(path="./signs/观众占比饼图.html")
观看占比.png
绘制词云
对中文分词用的是jieba，词频统计用的是TD-IDF
最后选出出现次数最多的前100个关键词，也可以选择大于指定阀值
# 大于指定数值
# print(ser[ser.values > 0.05])
# 排序，选择前n个
ser2 = ser.sort_values(ascending=False)
# 获取排名靠前的100个单词
worlds = ser2[0:100].index
关键词.png
关注公众号：Python疯子 后台回复： 一出好戏 获取源代码
分享最实用的Python功能，下期分享 地图功能
公众号：Python疯子
