前言
今天给大家的介绍Python爬取海量美女图片并保存本地。
开发工具
Python版本： 3.8
相关模块：
requests模块
multiprocessing模块
urllib模块
json模块
环境搭建
安装Python并添加到环境变量，pip安装需要的相关模块即可。
页面获取
这里我们以虎牙为例，进入首页
首页
选择更多，但是如果你需要的在上面可以直接选择也可以，比如王者荣耀、英雄联盟等，我们选择【颜值】，进入颜值页面
颜值
Network
来到颜值页面后，我们F12打开开发者工具或者鼠标右击选择检查，选择Network进行网络请求和响应的查看。我们的目的是获取海量的美女图片（建议谷歌浏览器）
将页面拉到底部，进行翻页。发现地址栏没有变化还仍然是：
huya.com/g/2168
如果大家遇到这种情况，就要考虑是不是使用ajax进行异步请求了。在Network中选择XHR，进行异步请求的筛选。
首页
点开上图中圈起来的链接，发现在response处是一个json返回结果
json返回的结果
接着就把此链接拷贝出来，进行分析：
1.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=1
2.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=2
3.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=3
4.https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page=4
找到了规律，页码数对应上了下面我们进行代码实现
代码实现
# 要爬取的网址
# page: 页码
url = f'https://www.huya.com/cache.php?m=LiveList&do=getLiveListByPage&gameId=2168&tagAll=0&callback=getLiveListJsonpCallback&page={page}'
# 开始爬取虎牙的妹子
response = requests.get(url, headers=headers)
content = response.text
result = content[len('getLiveListJsonpCallback('): -1]
# json解析: json字符串 => python字典
result2 = json.loads(result)
# print(result2)
# 当前页的所有妹子
meizi_list = result2['data']['datas']
for meizi in meizi_list:
nick = meizi['nick'] # 昵称
img = meizi['screenshot'] # 图片url
# print(nick, img)
# 下载图片,并以昵称作为图片名
try:
request.urlretrieve(img, f'huya/{page}-{nick}.png')
request.urlcleanup() # 清空缓存
print(f'{page}-{nick}.png 下载完成!')
except:
print('error:', nick)
结果展示
结果展示
最后
今天的分享到这里就结束了 ，感兴趣的朋友也可以去试试哈
对文章有问题的，或者有其他关于python的问题，可以在评论区留言或者私信我哦
觉得我分享的文章不错的话，可以关注一下我，或者给文章点赞(/≧▽≦)/
