目标：爬取豆瓣电影top250，将数据保存为Excel表格！
用到的第三方库有：requests BeautifulSoup xlwt
成果展示
Part Ⅰ 获取单个页面的数据
def get_data(url):
response = requests.get(url, headers=headers).content
soup = BeautifulSoup(response, 'html.parser')
ol = soup.find('ol', attrs={'class': 'grid_view'}) # 获取属性为'grid_view'的ol标签
names = [] # 电影名称
scores = [] # 评分
numbers = [] # 评价人数
infos = [] # 短评
for i in ol.find_all('li'): # 每个li标签下包含一部电影的信息
name = i.find('div', attrs={'class': 'hd'}).find('span', attrs={'class': 'title'}).get_text() # 电影名称
score = i.find('span', attrs={'class': 'rating_num'}).get_text() # 评分
number = i.find('div', attrs={'class': 'star'}).find_all('span')[-1].get_text() # 评价人数
info = i.find('span', attrs={'class': 'inq'}) # 短评
if info: # 判断是否有短评
infos.append(info.get_text())
else:
infos.append('无')
names.append(name)
scores.append(score)
numbers.append(number)
return names, scores, numbers, infos
豆瓣电影top250单个网页包含25条电影信息，分别对应网页源码中ol标签下的25个li标签。根据不同标签的不同属性，使用find()和find_all()提取所需的信息：电影名称、评分、评价人数、短评（当然还可以提取更多），并依次存入相应的列表中。注意：在存入短评信息时，应判断该电影有无短评（榜单上有少数电影确实没有短评），否则程序会报错！
Part Ⅱ 整合所有页面的数据
def main():
"""整合所有数据"""
all_name = [] # 电影名称
all_score = [] # 评分
all_number = [] # 评价人数
all_info = [] # 短评
for i in range(10):
url = 'https://movie.douban.com/top250?start={}&filter='.format(i*25)
names0, scores0, numbers0, infos0 = get_data(url)
all_name += names0
all_score += scores0
all_number += numbers0
all_info += infos0
save_data(all_name, all_score, all_number, all_info)
豆瓣电影top250一共包含10个页面，将每个页面的网址传入Part Ⅰ的get_data()函数，获取所有数据，再通过函数main()进行整合，随后调用Part Ⅲ的save_data()函数，保存数据为Excel文件
Part Ⅲ 保存数据、优化Excel表格样式
def save_data(all_name, all_score, all_number, all_info):
# 将数据保存为Excel表格
wb = xlwt.Workbook()
table = wb.add_sheet('豆瓣电影top250')
table.col(1).width = 256 * 25 # 设置单元格宽度
table.col(3).width = 256 * 14
style = xlwt.XFStyle() # 创建一个样式对象
al = xlwt.Alignment()
al.horz = 0x02 # 设置水平居中
al.vert = 0x01 # 设置垂直居中
style.alignment = al
table.write(0, 0, "序号", style)
table.write(0, 1, "电影名称", style)
table.write(0, 2, "评分", style)
table.write(0, 3, "评价人数", style)
table.write(0, 4, "短评", style)
for i in range(len(all_name)):
table.write(i + 1, 0, i + 1, style)
table.write(i + 1, 1, all_name[i], style)
table.write(i + 1, 2, all_score[i], style)
table.write(i + 1, 3, all_number[i], style)
table.write(i + 1, 4, all_info[i])
wb.save('豆瓣电影top250.xls')
首先创建Excel表格对象，新建一个名为“豆瓣电影top250”的工作簿。由于“电影名称”和“评价人数”两列数据的宽度大于Excel表格的默认值，所以我们将这两列的样式重新设置。并让除“短评”外的其他数据居中显示
完整示例：
