python学习之爬虫脚本

python3.6

自己仿照网上的模板写了个爬虫脚本,可以爬mm图片呦。下面是代码和注释

#导入re模块,用来使用正则

分享之前我还是要推荐下我自己建的Python开发学习群:628979297,群里都是学Python开发的,如果你正在学习Python ,小编欢迎你加入,今天分享的这个案例已经上传到群文件,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2018最新的Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴。

import re

#导入urllib.request模块,打开网页源码用

import urllib.request

#导入os模块,来自动创建保存路径

import os

#导入time模块,用来实现下面的每爬一次睡几秒

import time

#创建一个全局变量,用以实现图片保存后连续计数命名

num=0

#下面是创建保存路径的文件夹

path='D:\爬虫图片\mm'

dir=os.path.exists(path)

if not dir:

os.makedirs(path)

def getHtml(url):

#伪装headers,反反爬

user_agent='Mozilla/5.0 (Windows NT 10.0; Win64; X64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36'

headers={'User-Agent':user_agent}

req=urllib.request.Request(url,headers=headers)

page=urllib.request.urlopen(req)

html=page.read()

rehtml=str(html)

reg=r'charset=(.+?)"' #自动识别网站源码的编码方式

imgre=re.compile(reg)

imglist=re.findall(imgre,rehtml)

#print('page coded by %s' %imglist)

code='gbk' #此处本来要写成=imglist[0],但实际爬图片的时候发现网站上标注的编码方式并不一定好使,而是要写另外一个兼容这个编码方式的编码,所以我就直接给固定了,上面也白自动识别了。具体说明可以参照下面网址: http://www.crifan.com/summary_python_unicodedecode_error_possible_reasons_and_solutions/

html=html.decode('%s' %code)

return html

def getImg(html):

#从海量网站代码中设置过滤正则表达式,以找到图片地址。

reg=r'1\)" src="(.+?\.jpg)"'

imgre=re.compile(reg)

imglist=re.findall(imgre,html)

#调用上面设置的全局变量,以计数

global num

for imgurl in imglist:

#保存图片

urllib.request.urlretrieve(imgurl,path+'\mm%s.jpg' %num)

num+=1

print(num)

for i in range(2330,2390): #根据网站源代码,连续怕N多网址

a=str(i)

url='http://www.mm131.com/xinggan/'+a+'.html'

#下面比较重要,因为上面设置的是怕连续网址,但有时网站上有些网址并不存在,下面是判断网址是否存在,如果存在就怕图片,不存在就不浪费时间了

try:

html=getHtml(url)

print(getImg(html))

except urllib.error.HTTPError as e:

if e.code==404:

print('cant find %s' %url)

©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 本内容为《用Python写网络爬虫》书籍内容,有兴趣的读者可以购买本书,本章的代码皆可在Python3中运行。为了...
    海人为记阅读 6,732评论 0 5
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,875评论 19 139
  • http header 消息通常被分为4个部分:general header即头部, request header...
    徐薇薇阅读 32,215评论 0 5
  • 声明:本文讲解的实战内容,均仅用于学习交流,请勿用于任何商业用途! 一、前言 强烈建议:请在电脑的陪同下,阅读本文...
    Bruce_Szh阅读 14,384评论 6 28
  • 驳船在斜视阳光 是半面海的将夜么 帆樯上的标志已经落下 风将粗长的锚链拉得笔直 鸥群往来于时间的狭缝中 忙碌的指爪...
    木晓安阅读 1,297评论 0 1

友情链接更多精彩内容