image.png
这里主要是对年度票房信息进行操作，url构造、数据解析方面都是比较简单的了，这里就只是简单说一下
爬虫
1. 请求网站
request请求网站，返回源码信息
def get_Html(url):
r = requests.get(url, headers=headers)
r.encoding = r.apparent_encoding
return r.text
2. 获取电影数据保存至字典
因为数据不多，我们就对页面可视的所有数据进行抓取，这里用到了lxml里面的etree解析网页，用xpath获取对应的数据项然后保存，代码比较简单，过程数据项英文翻译过来就懂了，就不做太多注释了
def get_Info(text):
info = {}
info['movie_name'] = []
info['movie_type'] = []
info['movie_type'] = []
info['total'] = []
info['price_average'] = []
info['session_average'] = []
info['origin'] = []
info['time'] = []
tree = etree.HTML(text)
movies = tree.xpath('//table[@id="tbContent"]//tr')[1:]
for movie in movies:
movie_name = movie.xpath('./td[1]/a/p/text()')[0]
if movie.xpath('./td[2]/text()'):
movie_type = movie.xpath('./td[2]/text()')[0]
total = movie.xpath('./td[3]/text()')[0]
price_average = movie.xpath('./td[4]/text()')[0]
session_average = movie.xpath('./td[5]/text()')[0]
if movie.xpath('./td[6]/text()'):
origin = movie.xpath('./td[6]/text()')[0]
if movie.xpath('./td[7]/text()'):
time = movie.xpath('./td[7]/text()')[0]
else:
time = ""
# print(movie_name+' movie_type:'+movie_type+' total:'+total+' person_average:'+price_average+' session_average:'+session_average+' origin:'+origin+' time:'+time)
info['movie_name'].append(movie_name)
info['movie_type'].append(movie_type)
info['total'].append(total)
info['price_average'].append(price_average)
info['session_average'].append(session_average)
info['origin'].append(origin)
info['time'].append(time)
return info
3. url构造，获取2008-2019所有榜上的电影信息
urls = ["http://www.cbooo.cn/year?year={}".format(year) for year in range(2008, 2020)]
4. 保存至csv
用到pandas库，先将字典转成DataFrame，然后直接写入csv即可，可参考我之前的可视化相关的内容.（这里为了显示中文可以在编码方面稍做处理）
def write2csv(dict, year):
if year == '2008':
df = pd.DataFrame(data=dict, index=None)
df.to_csv('box_office.csv', index=False, encoding='gbk', mode='a')
else:
df = pd.DataFrame(data=dict, index=None)
df.to_csv('box_office.csv', index=False, header=False, encoding='gbk', mode='a')
5. csv文件
image.png
可视化
1. 各类型电影总票房数(柱状图)
def draw_bar(filename):
data = pd.read_csv(filename, encoding='gbk')
total = data.groupby(data['movie_type'])['total'].sum()
total.plot(kind='bar')
plt.legend()
# 添加网格
plt.grid(linestyle='--', alpha=0.5)
plt.xlabel("电影类别")
plt.ylabel("总票房数量")
plt.title("各类型电影总票房数")
plt.show()
image.png
3. 总票房和平均票价的关系(散点图)
def draw_scatter(filename):
data = pd.read_csv(filename, encoding='gbk')
plt.title('总票房和平均票价的关系')
plt.xlabel('平均票价')
plt.ylabel('总票房（万）')
plt.scatter(data.price_average, data.total, color='b', linestyle='--', label='上海')
plt.show()
image.png
3. 剧情类型电影前五票房曲线(折线图)
def draw_plot(filename):
data = pd.read_csv(filename, encoding='gbk')
total = data.query('movie_type == "剧情"').head(5).groupby('movie_name')['total'].sum()
total.plot()
plt.legend()
# 添加网格
plt.grid(linestyle='--', alpha=0.5)
plt.xlabel("电影")
plt.ylabel("总票房数量")
plt.title("剧情类型电影前五票房曲线")
plt.show()
image.png
4. 电影票房前五的类型分布(饼图)
def draw_pie(filename):
data = pd.read_csv(filename, encoding='gbk')
total = data.groupby(data['movie_type'], ).size().sort_values(ascending=False).head(5)
print(total)
print(total.index)
plt.title("电影票房前五的类型分布")
plt.pie(total, autopct='%.2f%%', labels=total.index)
plt.axis('equal')
plt.legend()
plt.show()
image.png
5. 中文处理
plt.rcParams['font.sans-serif'] = ['Simhei']
- 更多爬虫代码详情查看Github
