多线程爬取数据，主要是用Python的线程池ThreadPoolExecutor。
主要代码如下：
# -*- coding:utf-8 -*-
import json
import requests
import os
from concurrent.futures import ThreadPoolExecutor
class Wzry_Cosplay_Spider(object):
def __init__(self):
"""定义存储目录"""
self.base_dir = './wzry_cosplay_pics/'
"""定义请求Header头"""
self.headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'}
def get_pics(self):
n = 1
while True:
"""获取图片资源api地址"""
url = f'http://gamehelper.gm825.com/wzry/gallery/list?pn={n}'
try:
r = requests.get(url, headers=self.headers)
json_data = json.loads(r.text)
pics_list = json_data.get('list')
if len(pics_list) != 0:
for pic in pics_list:
pic_title = pic.get('title')
pic_imgs = pic.get('thumb_img')
"""将标题和图片地址列表返回"""
yield pic_title, pic_imgs
else:
break
n += 1
except:
pass
def download_pics(self, dirname, imgs):
path = self.base_dir + dirname
try:
"""递归创建文件夹"""
os.makedirs(path)
except:
pass
"""循环下载图片"""
for img in imgs:
filename = img.split('/')[-1]
r = requests.get(img, headers=self.headers)
with open(path + '/' + filename, 'wb') as f:
f.write(r.content)
print(f'----------------------------下载{filename}成功----------------------------')
print(f"----------------------------{dirname}]下载完成----------------------------")
def main():
"""使用线程池，创建四个线程"""
pool = ThreadPoolExecutor(max_workers=4)
"""获取类对象"""
wzry_cosplay_spider = Wzry_Cosplay_Spider()
"""调用对象方法获取标题和图片地址列表"""
for pic_title, pic_imgs in wzry_cosplay_spider.get_pics():
"""使用线程下载"""
pool.submit(wzry_cosplay_spider.download_pics, pic_title, pic_imgs)
"""关闭线程池"""
pool.shutdown()
if __name__ == '__main__':
main()
爬取到的资源如下（小姐姐还是蛮养眼的）：
ThreadPoolExecutor构造实例的时候，传入max_workers参数来设置线程池中最多能同时运行的线程数目。使用submit函数来提交线程需要执行的任务（函数名[wzry_cosplay_spider对象的get_pics函数]和参数[图片标题和下载地址列表]）到线程池中，并返回该任务的句柄（类似于文件、画图），注意submit()不是阻塞的，而是立即返回。通过submit函数返回的任务句柄，还可以能够使用done()方法判断该任务是否结束。最后通过shutdown()函数来关闭线程池。
线程池介绍
线程池的基类是 concurrent.futures 模块中的 Executor，Executor 提供了两个子类，即 ThreadPoolExecutor和 ProcessPoolExecutor，其中 ThreadPoolExecutor 用于创建线程池，而 ProcessPoolExecutor 用于创建进程池。
如果使用线程池/进程池来管理并发编程，那么只要将相应的 task 函数提交给线程池/进程池，剩下的事情就由线程池/进程池来搞定。
Exectuor 提供了如下常用方法：
submit(fn, *args, **kwargs)：将 fn函数提交给线程池。*args 代表传给 fn 函数的参数，*kwargs 代表以关键字参数的形式为 fn 函数传入参数。
map(func, *iterables, timeout=None, chunksize=1)：该函数类似于全局函数 map(func, *iterables)，只是该函数将会启动多个线程，以异步方式立即对 iterables 执行 map 处理。
shutdown(wait=True)：关闭线程池。
程序将 task 函数提交（submit）给线程池后，submit方法会返回一个Future 对象，Future类主要用于获取线程任务函数的返回值。由于线程任务会在新线程中以异步方式执行，因此，线程执行的函数相当于一个“将来完成”的任务，所以Python使用 Future 来代表。
使用线程池来执行线程任务的步骤如下：
1.调用 ThreadPoolExecutor 类的构造器创建一个线程池。
2.定义一个普通函数作为线程任务。
3.调用 ThreadPoolExecutor 对象的 submit() 方法来提交线程任务。
4.当不想提交任何任务时，调用 ThreadPoolExecutor 对象的 shutdown() 方法来关闭线程池。
