环境:
- Python3.6.5
- Windows
- pycharm
模块:
- requests
- jsonpath
- urlretrieve
- os
思路:
进入LOL官网点击游戏资料库后,所有的英雄都在里面。
我们点击英雄头像,就会跳转到包含皮肤的界面。
很多人学习python,不知道从何学起。
很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。
很多已经做案例的人,却不知道如何去学习更加高深的知识。
那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码!
QQ群:595948765
欢迎加入,一起讨论 一起学习!
立马就想到了思路:
获取到中间跳转的url,然后再请求该url跳转到皮肤页面-----然后再抓取皮肤。
思路没错,但html源代码中没有跳转的url呢?是不是就需要抓包!
elements中确实有该url,但是html源代码中并没有:
开始抓包吧:
很多人做到这里无从下手了,并没有跳转的url,但是我们可以发现跳转的url只有后面的数字ID发生了变化。
而我们的banaudio这个标签当中的url末尾是不是也有个1.ogg?与我们的跳转url中的ID值1是对应的!
所以,获取到数字即可,自行构造跳转的url。
到了跳转页面后,会发现网页源代码中同样不存在我们想要的图片数据(继续抓包):
OK,现在问题解决了!
更多python技术相关教程,直接私我即可!
python源码:
#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time : 2019/10/9 21:20
# @Author : 善念
import requests
import jsonpath
from urllib.request import urlretrieve
import os
def get_id():
req = requests.get('https://game.gtimg.cn/images/lol/act/img/js/heroList/hero_list.js').json()
ids = jsonpath.jsonpath(req, '$..banAudio')
items = []
for id in ids:
id = id.split('ban/')[1][0:-4]
items.append(id)
return items
def get_skin(items):
for item in items:
url = 'https://game.gtimg.cn/images/lol/act/img/js/hero/{}.js'.format(item)
req = requests.get(url, headers=headers).json()
skins = req['skins']
names = jsonpath.jsonpath(skins, '$..name')
skins = jsonpath.jsonpath(req, '$..loadingImg')
try:
if not os.path.exists(names[0]):
os.mkdir(names[0])
for name, skin in zip(names, skins):
print('正在采集====={}=====这个皮肤'.format(name))
urlretrieve(skin, names[0]+'/'+name+'.jpg')
except:
pass
def go():
items = get_id()
get_skin(items)
if __name__ == '__main__':
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) '
'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
go()
效果图: