仙女姐姐@chuu chloe和@什么七七——python图片爬虫
两年以前用爬虫爬过一个学校网站，现在忘得那是一干二净。可不成想，望着众多的美女图片，我竟然也会有嫌麻烦的时候。或许我应该说，是眼前这让人眼花缭乱目不暇接的美好，让我感叹时间的宝贵，想要迅速将她们“一网打尽”，我找到高分chrome插件，却发现这些插件只能下载部分图片，于是我从头捡起爬虫，写下这篇整理性的文章。没有需求，哪来的学习的动力？
最简单的爬虫
首先必须说的是，我不需要写那种一爬爬全站的爬虫，我只看好看的XD。这次看到的是这位chuu chloe姐姐，大家或许见过，绝对一见倾心的那种。爬的网站是我时不时逛逛的宅男吧，上面有时会有高质量的图。我没有大量爬图，不会对网站产生什么影响。目标网址：http://zhainanba.net/21483.html。贴一张目标截图：
我第一眼看到这位姐姐，就看呆了，已经说不出话来。我想说，看到她我好像看到了无人的纯白雪山——她值得我为她写一个爬虫。
初次尝试
爬虫重要的不是代码，而是分析网页的方法。老规矩F12进行审查。
很快注意到图片的url是由数字结尾，按尾数进行循环便能将这些图全爬下来。首先只写这么一个简单的规则找点感觉。
### 如果url规则简单到能一眼看出，直接用简单的版本。b
# 导入常用的爬虫包
import urllib.request
import re
import os
import requests
# 定义一个路径函数，用来确定保存图片的路径
targetDir = input('图片存储路径')
def destFile(path):
if not os.path.isdir(targetDir): # 如果路径不存在则创建
os.mkdir(targetDir)
pos = path.rindex('/') # 以最后一个斜杠后的字符作为图片名称
t = os.path.join(targetDir,path[pos+1:])
return t
fail_url = [] # 这个列表是为了记录下之后可能出现的超时情况
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36','Referer': 'http://zhainanba.net/21483.html'}
注意到我这里的header里写了referer，第一次写没有写referer，是我小看了这个网站，我以为他不会有反爬措施，没想到还是采用了基本的反爬。。。referer简单来说就是标识“你是从哪个网站来到这个网站的”，如果不加referer的话会报404（推荐写header时把能加的信息都加上）。
爬虫代码
下面写爬虫体。我加了一个超时处理的步骤，因为在运行时发现有些图片在request时会卡住，可能网站有进一步的反爬措施，具体的之后得检查源码才能看出是网络问题还是有反爬机制。
if __name__ == "__main__":
for i in range(1,31,1): # 爬尾号为1 - 30 的所有图片
i = str(i)
if len(i) < 2: # 之前注意到url中尾数小于10都补了零，这里也用简单的判断补上
i = '0' + i
else:
pass
link = 'http://ac.meijiecao.net/ac/img/znb/meizitu/20190611_meizitu_' + i + '.jpg' # 爬取的图片url
print(link)
try:
r = requests.get(link,headers = header,timeout=(10,10)) # 用timeout和try来防止超时
filename = destFile(link)
if r.status_code == 200: # 响应码为200时才进行写入，304和404都不写
open(filename,'wb').write(r.content)
print(r.status_code,'Sucess!')
del r
else:
print(r.status_code,'Fail.')
pass
except:
print(link,'Timeout.')
fail_url.append(link) # 将超时的url加入列表
pass
运行结果如下：
因为图片有水印，这里也不便于直接放出，给出链接：链接: https://pan.baidu.com/s/1leTJLlw8mm7AVlP_hb9ATg 提取码: 16ti
再战：采用BeautifulSoup
老是去查看url的尾数也不是长久之计，很多url都不规则，不可能每一次都去找规律，所以用网页解析器才是正道。简单的parser我选BeautifulSoup。bs4的全面用法我推荐Beautiful Soup 4.4.0 文档。这次换一个爬，@什么七七 这位小姐姐也是一位仙女。
# parse html with bs4, urls from zhainanba
from urllib import request
from bs4 import BeautifulSoup
fail_url = []
header = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36','Referer':'http://zhainanba.net/tag/%e7%bd%91%e7%bb%9c%e7%ba%a2%e4%ba%ba'} # referer和url需要自己更改，懂的都懂，不懂只能查
targetDir = input('图片存储路径')
def getHTMLcode(url):
re_url = request.Request(url,headers=header)
page_code = request.urlopen(re_url).read()
return page_code.decode('utf8')
def getImg(page_code):
soup = BeautifulSoup(page_code,'html.parser')
image_list = soup.find(attrs={'class':'article-content'}) # 查看源码可知所有的图片都在article-content
image = image_list.find_all('img') # 图片在article-content下的img里
for img in image:
img_url = img.get('src') # 图片的url在src里
print(img_url)
try:
r = requests.get(img_url,headers = header,timeout=(10,10)) # 用timeout和try来防止超时
filename = destFile(img_url)
if r.status_code == 200: # 响应码为200时才进行写入，304和404都不写
open(filename,'wb').write(r.content)
print(r.status_code,'Sucess!')
del r
else:
print(r.status_code,'Fail.')
pass
except:
print(img_url,'Timeout.')
fail_url.append(img_url)
pass
url = 'http://zhainanba.net/22631.html'
page_code = getHTMLcode(url)
getImg(page_code)
结果如下：
也分享在网盘里:
链接: https://pan.baidu.com/s/1jot8BkVSVB9JT-599fZSDA 提取码: bp63
总结
写爬虫不仅是为了短时间获得自己想获得的东西，也是为了以后的一些小项目做准备。其中的一个想法是，如果要训练仙女们的脸部模型，大批量的照片必不可少，所以之后可能要挑战sina的反爬机制，或者找一些图量大的网站琢磨一下。这个过程中，肯定会积累很多的优质图片，不只有仙女，还会有那些不太上得了台面的东西，我就不说了，我挺相信我的眼光的。
