学习Python,一个重要的目的就是为了能够应用到日常生活当中,而爬虫,是一个非常重要的方向。
很多教育机构都将学习Python的方向,分为了爬虫,人工智能、网页开发以及数据处理等几个方向,其实,无论是哪个方向,爬虫都是需要我们去认真去学习的。
好了,不多说了,下面直接附上昨天晚上编写的代码图。

写一个简单的爬虫,相对来说还是比较简单的,比如说上面的这段代码。
总体上分为三个步骤:
第一:请求网页
但是在请求网页之前,我们需要首先模仿浏览者的登录,现在一般的网页都是有设置简单的反爬机制,这个时候,就需要我们简单的设置下模仿浏览者登录,模仿浏览者登录的headers部分,我们一般都是使用字典的方式。
'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'
这个,一般情况下,我们可以任意的去写,当然也可以通过网站的检查去查取到headers的信息。
第二:解析网页
解析网页的部分,相对来说是非常重要的一步,这个需要我们去想要爬取的目标网页上去获取相应的网页结构信息。

找到这个网页目标信息的位置之后,将想要获取的字段信息,修改成为“.*?”即可。
第三:保存图片
以上工作都全部部署完毕之后,需要将文件保存起来。
如果要是没有设置图片保存的路径,图片会自动保存至当前的目录之下, 这个时候,我们最好能够创建一个文件夹来保存我们的图片,这样看起来会比较整齐。
好了,以上就是一键爬取高清妹子的图片代码信息,下面来看下成果。

最后:附上源代码
import requests # requests请求包
import re # 正则表达式
import time
import os # 导入操作系统接口模块
# 第一步:请求网页
headers = {
'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'
} # 模拟访问者
response = requests.get('https://www.vmgirls.com/12985.html',headers = headers) # 拿到网页链接,并获取请求
html = response.text # 将获取的请求赋值给html
# 第二步:解析网页
dir_name = re.findall('<h1 class="post-title h3">(.*?)</h1>',html)[-1] # 文件夹的名称,从网页上获取
if not os.path.exists(dir_name):
os.mkdir(dir_name) # 创建一个文件,用于储存图片 否则会在当前目录下载,比较凌乱。
urls = re.findall('<a href="(.*?)" alt=".*?" title=".*?">',html) # 查到图片链接的位置以及格式
print(urls)
# 第三步:保存图片
for url in urls:
time.sleep(1)
file_name = url.split('/')[-1]
response = requests.get(url, headers=headers)
with open(dir_name + '/' + file_name,'wb') as f: # 用dir_name代替file_name并写入文件当中
f.write(response.content)
最后,以上的代码,有一个弊端,就是无法实现翻页的功能,想要实现翻页,还是需要继续进行学习!