Python简易爬虫 || 教你如何一键爬去高清妹子图片!

学习Python,一个重要的目的就是为了能够应用到日常生活当中,而爬虫,是一个非常重要的方向。

很多教育机构都将学习Python的方向,分为了爬虫,人工智能、网页开发以及数据处理等几个方向,其实,无论是哪个方向,爬虫都是需要我们去认真去学习的。

好了,不多说了,下面直接附上昨天晚上编写的代码图。

pycharm代码图

写一个简单的爬虫,相对来说还是比较简单的,比如说上面的这段代码。

总体上分为三个步骤:

第一:请求网页

但是在请求网页之前,我们需要首先模仿浏览者的登录,现在一般的网页都是有设置简单的反爬机制,这个时候,就需要我们简单的设置下模仿浏览者登录,模仿浏览者登录的headers部分,我们一般都是使用字典的方式。

'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'

这个,一般情况下,我们可以任意的去写,当然也可以通过网站的检查去查取到headers的信息。

第二:解析网页

解析网页的部分,相对来说是非常重要的一步,这个需要我们去想要爬取的目标网页上去获取相应的网页结构信息。

网页目标信息的位置

找到这个网页目标信息的位置之后,将想要获取的字段信息,修改成为“.*?”即可。

第三:保存图片

以上工作都全部部署完毕之后,需要将文件保存起来。

如果要是没有设置图片保存的路径,图片会自动保存至当前的目录之下, 这个时候,我们最好能够创建一个文件夹来保存我们的图片,这样看起来会比较整齐。

好了,以上就是一键爬取高清妹子的图片代码信息,下面来看下成果。

图片文件夹

最后:附上源代码

import requests # requests请求包

import re # 正则表达式

import time

import os # 导入操作系统接口模块

​

# 第一步:请求网页

headers = {

    'user-agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1'

} # 模拟访问者

response = requests.get('https://www.vmgirls.com/12985.html',headers = headers) # 拿到网页链接,并获取请求

html = response.text # 将获取的请求赋值给html

# 第二步:解析网页

dir_name = re.findall('<h1 class="post-title h3">(.*?)</h1>',html)[-1]  # 文件夹的名称,从网页上获取

if not os.path.exists(dir_name):

    os.mkdir(dir_name) # 创建一个文件,用于储存图片 否则会在当前目录下载,比较凌乱。

urls = re.findall('<a href="(.*?)" alt=".*?" title=".*?">',html)  # 查到图片链接的位置以及格式

print(urls)

# 第三步:保存图片

for url in urls:

    time.sleep(1)

    file_name = url.split('/')[-1]

    response = requests.get(url, headers=headers)

    with open(dir_name + '/' + file_name,'wb') as f: # 用dir_name代替file_name并写入文件当中

        f.write(response.content)


最后,以上的代码,有一个弊端,就是无法实现翻页的功能,想要实现翻页,还是需要继续进行学习!

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容