爬取壁纸并保存到本地 目标网址 http://desk.zol.com.cn/dongman/
要求：
1.爬取目标网站上 “动漫” 类别下所有的壁纸。
2.壁纸必须保存到脚本运行目录下的的 IMAGES文件夹内。(文件夹由脚本自动创建 没有就创建 否则不创建)
3.保存的图片必须以对应标题名和分辨率来命名，如：秋田君的小漫画 - 1920x1200.jpg。
4.图片分辨率应该是可选分辨率中最高的。
5.要有提示信息，格式：正在下载 (下载数量)：(图片名字)。
6.要有错误处理并给出相应提示，如：图片下载失败、网络超时的处理等。
预备知识：
- requests模块的基本了解，包括get，post等方法和status_code，history等属性。
- 熟练使用BeautifulSoup（美丽汤）进行文本定位、筛选，常用方法有find_all，select等。
- 基本的文件流操作，如文件夹是否存在的判断，新建文件夹等
首先设置请求头避免访问受限
base_url = "http://desk.zol.com.cn/dongman/"
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}
判断文件夹是否存在并创建
def check_folder():
if not os.path.exists(folder_path):
os.makedirs(folder_path)
获取网页代码 第一次运行出现中文乱码 于是对字符进行了转换
def get_response(url):
response = requests.get(url)
response.encoding = "gbk" #改变编码，解决出现中文乱码的问题
return response
网站动漫条目下共41页 观察每页网址特征 写一个循环把所有图片的url获取下来放在一个list里
注意需要获取最大分辨率 有些没有分辨率选项 观察可知这些图片默认分辨率都是960x600
def get_resolution(url):
resolution_li = BS(requests.get(url).text).find_all('dd',id="tagfbl")[0].find_all('a') #爬取详情页，找到分辨率选项
if len(resolution_li) > 1: #a标签数量大于一，有分辨率选项
return resolution_li[0].attrs['id']
else:
return '960x600'
最后下载图片 并更改命名
在代码尾部添加错误处理提示
下面给出完整代码
import requests, os
from bs4 import BeautifulSoup as BS
base_url = "http://desk.zol.com.cn"
folder_path = './IMAGES/'
headers = {'User-Agent': "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36"}
download_number = 1
image_list = list()
def check_folder():
if not os.path.exists(folder_path):
os.makedirs(folder_path)
def get_response(url):
response = requests.get(url)
response.encoding = "gbk" #改变编码，解决出现中文乱码的问题
return response
def get_resolution(url):
resolution_li = BS(requests.get(url).text).find_all('dd',id="tagfbl")[0].find_all('a') #爬取详情页，找到分辨率选项
if len(resolution_li) > 1: #a标签数量大于一，有分辨率选项
return resolution_li[0].attrs['id']
else:
return '960x600'
def download_image(image):
print("正在下载%d : %s"%(download_number, image['title']))
file_name = folder_path + image['title'] +' - %s.jpg'%image['resolution']
with open(file_name, 'wb') as f:
f.write(requests.get(image['url']).content)
f.flush()
f.close()
def main():
check_folder()
for i in range(1,42):
lis = BS( get_response("%s/dongman/%d.html"%(base_url, i)).text ).find_all('li', "photo-list-padding")
for li in lis:
img = li.a.img
image_item_url = base_url+li.a.attrs['href']
resolution = get_resolution(image_item_url)
image_list.append({'url' : img.attrs['src'].replace('208x130', resolution ), 'title' : img.attrs['title'], 'resolution' : resolution}) #将图片信息存在list里
global download_number
while(len(image_list)!=0):
image = image_list[0]
image_list.remove(image)
try:
download_image(image)
download_number+=1
except:
print("%s下载过程出现错误，已重新加入下载队列，稍后继续尝试"%(image['title']))
image_list.append(image)
if __name__=="__main__":
main()
最后为代码运行结果
总结
- 写爬虫需要细致观察网页网址差别 找出所需要的点 果断舍弃无用的
- 要注意网页字符编码类型 不然容易出现乱码
- 尽量使用函数封装 一是使代码清晰明了 二是可以反复调用
