1、首先明确下载图片网页是动态网页,还是静态网页
动态网页的图片url并不在网页源代码中,需要爬取JS响应信息。解析它,来获取里面的url链接。而静态页面就相对简单的多图片的url就在源网页中。
这里我选择的是爬取静态网页的图片,因为相对简单点:
选择爬取对象链接:http://www.netbian.com/,这里图片类型还是挺多的。
2、然后分析图片的url链接,进行匹配
这里我选择正则进行匹配,你也可以使用Xpath,或者bs4
图片.png
<img src="http://img.netbian.com/file/2019/0717/smalle1b313278ed132dfb723d5be2c7b75d11563327136.jpg" alt="大宋少年志周雨彤 赵简剧照壁纸">
最稳当方法是先写一个正则函数,然后截取上面一小段代码,进行测试,不熟的话,一点点的匹配内容。下面是我匹配好的代码:
def parse_data(self,data):
pattern = re.compile('<img src="(.*?)" a', re.S)
for imgurl in re.findall(pattern,data):
img_urllist.append(imgurl)#放入全局变量img_urllist中
return img_urllist
3、开始写简单爬虫了:
主要步骤是:
1、拼接翻页的url字符串链接
2、发送请求url链接
3、解析页面内容将url图片链接放在全局变量img_urllist中
4、发送img_urllist链接,下载图片内容到本地文件中
代码如下:
import requests
import re
class Spider(object):
global img_urllist
img_urllist=[]
def __init__(self):
self.head={
"User-Agent": "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"
}
#1 发送请求
def get_response(self,url):
response = requests.get(url, params=self.head)
response.encoding="gbk" #我这里的页面是gbk,windows默认写入文件为utf-8所以要转码
data=response.text
return data
#解析数据
def parse_data(self,data):
pattern = re.compile('<img src="(.*?)" a', re.S)
for imgurl in re.findall(pattern,data):
img_urllist.append(imgurl)#放入全局变量img_urllist中
return img_urllist
#保存数据
n,j=1,1#声明为类变量
def save_data(self):
global n,j#声明n为全局变量
for imgurl in img_urllist:
try:
print("第%d张图片下载成功" % Spider.j)#调用类变量
pic=requests.get(imgurl)
except:
print("下载失败")
continue
string='img/'+str(Spider.n)+".jpg"
f=open(string,"wb")
f.write(pic.content)
Spider.n+=1
Spider.j+=1
#启动
def run(self):
#翻页
for i in range(2,9): #爬了2到8页的图片,你也可以爬更多
#1 拼接url
url="http://www.netbian.com/"+"index_"+str(i)+".htm"
print(url)
#2 发请求
data=self.get_response(url)
# print(data)
#3 解析数据
self.parse_data(data)
#4 保存数据
self.save_data()
Spider().run()
刚开始学爬虫,结果还是挺满意的,嘻嘻,最后附上运行结果:
图片.png