一、前言
网络爬虫的一般步骤：
1.获取网页
2.提取网页信息
3.保存网页信息
要用到的Python库：
requests库
os库
lxml中的etree(xpath)
二、要求
1.爬取目标网站上 “动漫” 类别下所有的壁纸。
2.壁纸必须保存到脚本运行目录下的的 IMAGES文件夹内。(文件夹由脚本自动创建 没有就创建 否则不创建)
3.保存的图片必须以对应标题名和分辨率来命名，如：秋田君的小漫画 - 1920x1200.jpg。
4.图片分辨率应该是可选分辨率中最高的。
5.要有提示信息，格式：正在下载 (下载数量)：(图片名字)。
6.要有错误处理并给出相应提示，如：图片下载失败、网络超时的处理等。
三、正文
爬取目标http://desk.zol.com.cn/dongman/
image.png
以上就是将要爬取的部分壁纸。
1.思路
image
第一步：分析网页，写出xpath路径
分析网页是应首先按F12进入开发者模式，选择element选项卡，使用元素选择器，如图：
image
由于我们要爬取列表所有壁纸，所以我们要获取<li class="photo-list-padding">标签下的所有<a>标签，因此，xpath路径为：
#图片列表地址
//li[@class="photo-list-padding"]//a/@href
image
还需要把’下一页‘的xpath路径提取出来，为：
#下一页的地址
//a[@id="pageNext"]/@href
image
需要提取出图片的名字，xpath路径为：
#图片名称
//a[@id="titleName"]/text()
image
这时候，由于既需要提取出分辨率，以及其网页，故而需要两个xpath路径：
#下载图片的路径
//dd[@id="tagfbl"]//a[1]/@href
#最大分辨率1920*1200
//dd[@id="tagfbl"]//a[1]/text()
第二步：设置请求头防止访问受限
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36',
}
第三步：利用requests库和lxml获取并解析网页
def get_dom(url):
r = requests.get(url)
dom = etree.HTML(r.text)
return dom
第四步：下载并保存获取的图片
def download_image(url):
dom = get_dom(url)
download_url = dom.xpath('//img[contains(@src, "jpg")]/@src')[0]
r_2 = requests.get(download_url)
return r_2.content
def save_image(image_name, content, filepath='IMAGES/'):
with open(filepath+image_name, 'wb') as f:
f.write(content)
第五步：错误提示处理
下面给出完整代码：
import requests
import os
from lxml import etree
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}
def get_text(url):
r = requests.get(url, headers=headers)
r.encoding = r.apparent_encoding
dom = etree.HTML(r.text)
return dom
def get_imgage(url, name, px):
r = requests.get(url, headers=headers)
if (r.status_code != 200):
print("图片下载失败")
return
r.encoding = r.apparent_encoding
f = open(f'{name}-{px}.jpg', 'wb')
f.write(r.content)
def create_file():
path = os.getcwd() + "\image"
if not os.path.exists(path):
os.makedirs(path)
os.chdir(path)
def get_name_href(dom):
name = dom.xpath('//li[@class="photo-list-padding"]//em//text()')
href = dom.xpath('//li[@class="photo-list-padding"]//@href')
return name, href
def getImgHref_Px(href):
dom = get_text(href)
try:
px = dom.xpath('//dd[@id="tagfbl"]//a//@id')[0]
imgage_url = dom.xpath('//dd[@id="tagfbl"]//a[@target="_blank"]//@href')[0]
dom_1 = get_text(host + imgage_url)
imgage_href = dom_1.xpath('//img//@src')[0]
return imgage_href, px
except:
imgage_href = dom.xpath('//div[@id="mouscroll"]//img//@src')[0]
return imgage_href, "960x600"
host = "http://desk.zol.com.cn"
target = "http://desk.zol.com.cn/dongman/"
cnt = 0
create_file()
for x in range(1, 42):
dom = get_text("http://desk.zol.com.cn/dongman/" + str(x) + ".html")
name, href = get_name_href(dom)
for i in range(0, len(href)):
cnt = cnt + 1
print("正在下载" + str(cnt) + ":" + name[i])
imgHref, px = getImgHref_Px(host + href[i])
get_imgage(imgHref, name[i], px)
以下是运行结果：
image.png
image.png
