需求 :用多协程爬取薄荷网11个常见食物分类里的食物信息（包含食物名、热量、食物详情页面链接）。
分析过程:
一.判断要爬取的内容在哪里
![]()
我们能在Response里找到食物的信息，说明我们想要的数据存在HTML里。再看第0个请求1的Headers，可以发现薄荷网的网页请求方式是get。知道了请求方式是get，我们就知道可以用requests.get()获取数据。
二.分析网址结构
1.分析类别不同网址的规律
先关闭“检查”工具。我们接着来观察，每个常见食物分类的网址和每一页食物的网址有何规律。
果然，常见食物分类的网址构造是有规律的。前10个常见食物分类的网址都是：http://www.boohee.com/food/group/+数字
唯独最后一个常见食物分类【菜肴】的网址与其他不同，是：http://www.boohee.com/food/view_menu
2.分析分页不同时网址的规律
原来?page=数字真的是代表页数的意思。只要改变page后面的数字，就能实现翻页。
基于我们上面的观察，可以得出薄荷网每个食物类别的每一页食物记录的网址规律——
三.弄清楚HTML的结构
前面我们知道薄荷网的食物热量的数据都存在HTML里，所以等下就可以用BeautifulSoup模块来解析。
这么看来的话，我们用find_all/find就能提取出<li class="item clearfix">…</li>标签下的食物详情链接、名称和热量。
最终代码为:
from gevent import monkey
monkey.patch_all()
import gevent,requests, bs4, csv
from gevent.queue import Queue
work = Queue()
url_1 = 'http://www.boohee.com/food/group/{type}?page={page}'
for x in range(1, 4):
for y in range(1, 4):
real_url = url_1.format(type=x, page=y)
work.put_nowait(real_url)
url_2 = 'http://www.boohee.com/food/view_menu?page={page}'
for x in range(1,4):
real_url = url_2.format(page=x)
work.put_nowait(real_url)
def crawler():
headers = {
'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 Safari/537.36'
}
while not work.empty():
url = work.get_nowait()
res = requests.get(url, headers=headers)
bs_res = bs4.BeautifulSoup(res.text, 'html.parser')
foods = bs_res.find_all('li', class_='item clearfix')
for food in foods:
food_name = food.find_all('a')[1]['title']
food_url = 'http://www.boohee.com' + food.find_all('a')[1]['href']
food_calorie = food.find('p').text
writer.writerow([food_name, food_calorie, food_url])
#借助writerow()函数，把提取到的数据：食物名称、食物热量、食物详情链接，写入csv文件。
print(food_name)
csv_file= open('boohee.csv', 'w', newline='')
#调用open()函数打开csv文件，传入参数：文件名“boohee.csv”、写入模式“w”、newline=''。
writer = csv.writer(csv_file)
# 用csv.writer()函数创建一个writer对象。
writer.writerow(['食物', '热量', '链接'])
#借助writerow()函数往csv文件里写入文字：食物、热量、链接
tasks_list = []
for x in range(5):
task = gevent.spawn(crawler)
tasks_list.append(task)
gevent.joinall(tasks_list)
练习 :请使用多协程和队列，爬取时光网电视剧TOP100的数据（剧名、导演、主演和简介）
import gevent,requests,bs4,csv
from gevent.queue import Queue
from gevent import monkey
#monkey.patch_all()
work = Queue()
url = 'http://www.mtime.com/top/tv/top100/index-{page}.html'
work.put_nowait('http://www.mtime.com/top/tv/top100/')
for i in range(2,11):
work.put_nowait(url.format(page=i))
csv_file = open('movies.csv','w',newline="")
writer = csv.writer(csv_file)
writer.writerow(['序号','剧名','导演','主演','简介'])
def crawler():
while not work.empty():
realurl = work.get_nowait()
res = requests.get(realurl)
bf = bs4.BeautifulSoup(res.text,'html.parser')
movesUL = bf.find('ul',id='asyncRatingRegion').find_all('li')
for one in movesUL:
index = one.find('em').text
mov_con = one.find('div',class_='mov_con')
mov_A = mov_con.find_all('a')
if len(mov_A) > 1 :
mov_name = mov_A[0].text
if len(mov_A) > 2 :
mov_director = mov_A[1].text
if len(mov_A) > 3 :
mov_mainactor = mov_A[2].text
mov_detail = one.find('p',class_ = 'mt3')
writer.writerow([index,mov_name,mov_director,mov_mainactor,mov_detail])
taskList =[]
for x in range(2):
task = gevent.spawn(crawler)
taskList.append(task)
gevent.joinall(taskList)
