python简易爬虫教程--（二）批量下载图片

上一篇我们爬取了一些文本信息——搜狐新闻的名称和链接，并写入了本地的txt文件。相信大家已经理解了爬虫的基本框架，以及如何在网页中定位我们的爬取目标。
所以接下来，很自然的一个问题就是，我们能不能获取一些别的东西呢。早已经是多媒体时代了，光是获取文本信息多没劲呢，就不能爬一爬我们喜欢的，那种，好看的，图片什么的吗。
哈哈，那么这一节，我们将来看一看，如何爬取一些图片并自动下载到本地。我们主要使用的是python自带的一个下载模块，urlretrieve。我们以批量下载新浪图片网站某图集中的所有图片为例。

打开新浪图片网站，假设我们要爬取这个图集中的所有图片。

我们就以这个页面的网址为入口开始编写代码。与上节一样，先获取网页源码。

import requests  # 用于获取网页
from bs4 import BeautifulSoup  # 用于分析网页
import re  # 用于在网页中搜索我们需要的关键字

baseurl='http://slide.news.sina.com.cn/y/slide_1_88490_353183.html/d/1#p=1'
html=requests.get(baseurl)
print(html.text)

发现一个小问题，好像有乱码。所以，我们先查看这个网页的编码模式。如图，切换到console标签，输入document.charset，返回GBK，说明网页是GBK编码，所以我们加一行代码，指明编码模式。

html=requests.get(baseurl)
html.encoding='gbk'   #制定编码方式
print(html.text)

运行一下，发现好了，没有乱码了。

接下来我们解析网页。这次我们连检查工具都不用，直接肉眼可见这网页源码中一个个<dl>标签，底下第一个标签<dt>对应的就是图集的标题，然后三个<dd>标签对应的就是图片的链接，****.jpg。第五个标签<dd>是时间，第六个是图片名。
我们把<dl>标签抓取出来：

#分析网页
soup=BeautifulSoup(html.text,'html.parser')
imgs=soup.find_all('dl')
print(imgs)
for img in imgs: #对于每一个dl
    print(img,'\n')

我们把三个图片点开看看。

发现这三个<dd>分别对应的是三个不同大小的图片。显然我们需要的是第一个大图。那么，我们怎么获得这第一个dd标签呢。哈哈，别忘了，上节我们正好学过，beautisoup的'.'属性，返回当前标签下的第一个子标签。然后通过.next_sibling属性，获得当前标签的下一个兄弟标签。当然，它可以迭代。.next_sibling.next_sibling.next_sibling就是下下下个兄弟标签。
所以，我们就可以写分析和获取图片网址的代码了。

for img in imgs: #对于每一个dl
    img_link=img.dd.text
    img_name=img.dd.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.text
    print(img_link,img_name,'\n')

没错，我们已经获取了这一个个图片的链接和名称啦。但是有的名称太长了，我们应该只需要其中‘《》’之内的这一部分。使用正则表达式处理一下。

img_name=img.dd.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.text
    img_name=re.split(r'\《([^》]*)\》',img_name)[1]
#re.split将字符串匹配正则表达式的部分割开并返回一个列表。我们取列表中第二个元素，即匹配到到内容。
    print(img_link,img_name,'\n')

好啦，接下来，我们只需要下载下来就好啦。这是我们这节教程的重点啦。介绍一下下载模块。我们来定义一个函数用来下载。

def download(img_link,img_name):#我们需要传入两个参数，图片地址，图片名称
    from urllib.request import urlretrieve
    import os  # 这个是用于文件目录操作
    if os.path.exists(img_name) == False:  # 如果文件不存在，创建文件，避免重复下载
        urlretrieve(img_link, img_name+'.jpg') #从img_link这个网址获取文件，存储到img_name的这个文件名中去，注意要手动加上后缀
    else:
        pass

这个urlretrieve真的炒鸡好用，可以下载图片，音频，视频，以后我们还会经常用到。
接下来在我们的代码里调用就好了，这是完整的代码：

import requests  # 用于获取网页
from bs4 import BeautifulSoup  # 用于分析网页
import re  # 用于在网页中搜索我们需要的关键字



def download(img_link,img_name):
    from urllib.request import urlretrieve
    import os  # 这个是用于文件目录操作
    if os.path.exists(img_name+'.jpg') == False:  # 如果文件不存在，创建文件
        urlretrieve(img_link, './'+img_name+'.jpg') #从img_link这个网址获取文件，存储到./img_name.jpg的这个文件路径中去，注意要手动加上后缀
    else:
        pass

#获取网页源码
baseurl='http://slide.news.sina.com.cn/y/slide_1_88490_353183.html/d/1#p=1'
html=requests.get(baseurl)
html.encoding='gbk'
print(html.text)

#分析网页
soup=BeautifulSoup(html.text,'html.parser')
imgs=soup.find_all('dl')
print(imgs)
for img in imgs: #对于每一个dl
    img_link=img.dd.text
    img_name=img.dd.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.next_sibling.text
    img_name=re.split(r'\《([^》]*)\》',img_name)[1]
    print(img_link,img_name,'\n')
    download(img_link,img_name)

运行一下，图片都下载好啦。

好啦。感谢大家的阅读。如果你喜欢我的爬虫教程，可以关注我的账号，后续还会有更多的更新。如果有什么建议，也欢迎在评论区留言，我会悉心听取。

声明：本教程及代码仅作教学之用，无意侵犯其它网站或公司版权。本节爬取的新浪图片，版权为新浪图片网站所有。该网站提供下载服务，本教程属于下载，并非转载。对于套用本教程代码非法爬取其他网站或公司非公开数据而导致的损害，本教程不承担任何责任。