前言

很多人提到python，脑海中一定第一个想到爬虫。
那么爬虫有是什么呢？
爬虫是指在互联网领域，爬虫一般指抓取众多公开网站网页上数据的相关技术。
不只是python可以做爬虫，有很多语言都可以比如java
进入正题，入门python爬虫首先要对python的知识点要有基本的掌握和一定的正则表达式的知识，和一定的html的知识，然后就可以入门python爬虫了

python相关模块

在入门前我们应该首先学习爬虫相关的模块
首先需要我们了解urllib.request模块
urllib.request模块的官方文档：https://www.baidu.com/link?url=2TDSZE4Syct8V21juND6HEUUXQtU14DmmeIBrvR_uxYSAPYNpKqEQWN4XvIvxqbJED-pnZnwxLg279W1hWZKmK&wd=&eqid=ffb469a60007cd46000000025aa52e29

获取网站代码

import urllib.request
req=urllib.request.urlopen('https://www.jianshu.com/')
print(req)

图片.png

我们可以发现输出的并不是我不们想要的结果，因为 url.request.urlopen()返回的是文件类对象，这时候我们需要使用read()函数
import urllib.request
req=urllib.request.urlopen('https://www.jianshu.com/')
html=req.read()
print(html)

输出的结果不是我们想象中格式，这是因为输出的是‘utf-8’形式的代码，我们必须使用decode()函数将‘utf-8’代码转化为Unicode形式代码
import urllib.request
req=urllib.request.urlopen('https://www.jianshu.com/')
html=req.read().decode('utf-8')
print(html)

图片.png

这时候我们就得到到我们想要的结果了

爬取信息

这是就可以进行爬取我们想要的信息了，是不是很快☻
做爬虫前我们要首先需要锁定想要爬取的网站和想要获取的信息
比如我想要爬取一个贴吧中的一个贴中的所有图片
那么我们打开贴子复制网址并查看贴子的源代码

图片.png

右键点击图片，可以看到图片是代码是<img class="BDE_Image" src="https://imgsa.baidu.com/forum/w%3D580/sign=627ee726ad8b87d65042ab1737092860/7016adaf2edda3ccadbbed370de93901213f926e.jpg" size="499541" changedsize="true" width="560" height="746">
我们想要下载图片，就要从代码中获取图片的地址，可以明显的看到该图片的地址在img标签中的src属性中

利用正则表达式来提取图片地址

import re
import urllib.request
req=urllib.request.urlopen('https://tieba.baidu.com/p/5589041856')
html=req.read().decode('utf-8')
p = r'<img class="BDE_Image" src="([^"]+)'
imglist=re.findall(p,html)
for each in imglist:
print(each)

图片.png

我们已经提出这个帖子所有img的标签中的src属性了
接下来我们需要用urll.request模块中的urlretrieve()对图片进行下载
import re
import urllib.request
req=urllib.request.urlopen('https://tieba.baidu.com/p/5589041856')
html=req.read().decode('utf-8')
p = r'<img class="BDE_Image" src="([^"]+)'
imglist=re.findall(p,html)
for each in imglist:
filename=each.split("/")[-1]
urllib.request.urlretrieve(each,filename,None)

图片.png

可以看到将图片自动下载到桌面上面去

req.add_header()

有时候我们运行次数过多贴吧会识别出是python环境而不是浏览器打开帖子下载图片
那么我应该怎么办呢？
python urllib.request模块中有能有模拟浏览器的一个函数这个函数就是req.add_header()
但是我们使用前需要对前面的代码进行部分改动
将urllib.request.urlopen('https://tieba.baidu.com/p/5589041856'）
改为
req=urllib.request.Request('https://tieba.baidu.com/p/5589041856')
reqs=urllib.request.urlopen(req)
其实这两者并无差别
urll.request.urlopen()既可以接受地址也可以是接受Request对象
当接受的地址时自动将其转化为Request对象
现在我们就可以时候req.add_header()函数了
打开浏览器的控制台随便打开一个get

图片.png

可以看到User-Agent
这时候复制下来
将这段代码
req.add_header("User-Agent","Mozilla/5.0 (Windows NT 10.0; WOW64; rv:58.0) Gecko/20100101 Firefox/58.0")
放在urlopen函数的下面

为了更好的不被检测出为爬虫，我们可以引入 time模块
在每次下载图片的时候利用time.sleep(1)进行停顿一秒

接下来我们需要勤加练习打好基础更加熟悉urllib.request模块

想要更深入的学习爬虫我们就需要学习python爬虫的相关模块和http协议等

python爬虫经常用到的模块

Beautifulsoup4 用于更快提取网页中我们想要的信息
官方文档地址：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html#id1
request 模块(与urllib.requset不同）官方文档地址：http://docs.python-requests.org/en/master/

希望对你有所帮助