用Python批量爬取下载图片

1、首先明确下载图片网页是动态网页，还是静态网页

动态网页的图片url并不在网页源代码中，需要爬取JS响应信息。解析它，来获取里面的url链接。而静态页面就相对简单的多图片的url就在源网页中。
这里我选择的是爬取静态网页的图片，因为相对简单点：
选择爬取对象链接：http://www.netbian.com/，这里图片类型还是挺多的。

2、然后分析图片的url链接，进行匹配

这里我选择正则进行匹配，你也可以使用Xpath,或者bs4

图片.png

<img src="http://img.netbian.com/file/2019/0717/smalle1b313278ed132dfb723d5be2c7b75d11563327136.jpg" alt="大宋少年志周雨彤 赵简剧照壁纸">

最稳当方法是先写一个正则函数，然后截取上面一小段代码，进行测试，不熟的话，一点点的匹配内容。下面是我匹配好的代码：

    def parse_data(self,data):
        pattern = re.compile('<img src="(.*?)" a', re.S)
        for imgurl in re.findall(pattern,data):
            img_urllist.append(imgurl)#放入全局变量img_urllist中
        return img_urllist

3、开始写简单爬虫了：

主要步骤是：
1、拼接翻页的url字符串链接
2、发送请求url链接
3、解析页面内容将url图片链接放在全局变量img_urllist中
4、发送img_urllist链接，下载图片内容到本地文件中
代码如下：

import requests
import re
class  Spider(object):
    global img_urllist
    img_urllist=[]
    def __init__(self):
       self.head={
            "User-Agent": "Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50"
        }
    #1 发送请求
    def get_response(self,url):
        response = requests.get(url, params=self.head)
        response.encoding="gbk"     #我这里的页面是gbk，windows默认写入文件为utf-8所以要转码
        data=response.text
        return data
    #解析数据
    def parse_data(self,data):
        pattern = re.compile('<img src="(.*?)" a', re.S)
        for imgurl in re.findall(pattern,data):
            img_urllist.append(imgurl)#放入全局变量img_urllist中
        return img_urllist
    #保存数据
    n,j=1,1#声明为类变量
    def save_data(self):
        global  n,j#声明n为全局变量
        for imgurl in  img_urllist:
            try:
                print("第%d张图片下载成功" % Spider.j)#调用类变量
                pic=requests.get(imgurl)
            except:
                print("下载失败")
                continue
            string='img/'+str(Spider.n)+".jpg"
            f=open(string,"wb")
            f.write(pic.content)
            Spider.n+=1
            Spider.j+=1
    #启动
    def run(self):
        #翻页
        for i in range(2,9):         #爬了2到8页的图片，你也可以爬更多
            #1 拼接url
              url="http://www.netbian.com/"+"index_"+str(i)+".htm"
              print(url)
            #2 发请求
              data=self.get_response(url)
              # print(data)
            #3 解析数据
              self.parse_data(data)
            #4 保存数据
              self.save_data()
Spider().run()

刚开始学爬虫，结果还是挺满意的，嘻嘻，最后附上运行结果：

图片.png