简单爬虫

爬虫简介：自动访问互联网提取互联网信息中的有价值数据的程序。

什么是互联网？

互联网由各种各样的网页组成，网页有对应的URL，而URL的页面上又有很多指向其他页面的URL，这种URL相互指向关系，就形成了一个网状。

获取网页数据的方法分为2种：

通过人工来获取互联网的信息，这种方法就是覆盖面比较小。
用爬虫自动获取，设定一个主题、感兴趣的目标，可以自动获取这些信息。它可以从一个URL到另一个相关URL,并且从每个页面上提取出，我们所需要的有价值的数据。

7C60815FE0E633E966F5CA49A9C061EB.png

爬虫价值：互联网数据，为我所用。可以利用爬到的数据进行进行整合使用。

14785C7507530B589CE60D870841664A.png

简单的爬虫架构

爬虫调度端：启动、停止和监事爬虫的状态。
爬虫：(三个组成部分)
- URL管理器：
  - 待爬取的URL和已经爬去过的URL进行管理。
  - 传送一个待爬取的URL到网页下载器。
- 网页下载器：
  - 下载网页数据存储成字符串。
  - 并传送个网页解析器
- 网页解析器
  - 保存有价值的数据
  - 网页上又有指向其他网页URL，解析出这些URL又补充进URL管理器。
价值数据：需要的数据。

6D1A3A824D31C38CBBBFC1713B8EA47C.png

简单爬虫架构的运行流程

调度器询问URL管理器没有待爬取的URL
URL管理器返回是或否。
URL管理器返回是的话，则调度器从URL管理器中获取一个待爬取的URL。
调度器把URL传送给下载器，下载器把下载好的内容返回给调度器。
调度器把返回的内容传送给解析器。解析器返回给调度器有用的内容和新的URL列表。
调度器会对有价值的数据进行收集并将新的URL补充进URL管理器
调度器再次询问URL管理器没有没待爬取的URL。有就继续循环3~6的步骤。没有就输出有价值的数据到应用。

运行流程.png

URL管理器

URL管理器:管理抓取URL集合和已抓取的URL集合

防止重复抓取、循环抓取。每一个网页都有指向其他网页的URL，其他网页也有执行当前网页。不同的URL之间就存在循环指向的问题。如果不进行管理，那么就会循环抓取URL。最严重的就是2个网页相互指向，这样爬虫就会一直不断的循环抓取这两个网页的内容，形成死循环。所以使用URL管理器进行统一管理。
功能：
- 新的URL添加到待爬取集合中
- 判断待添加的URL是否在容器中
- 判断还有没有待爬去的URL
- 获取待爬去的URL
- 将待爬取的URL移动到已爬去URL集合中。

URL管理器的实现方式：

直接存储在内存中：（Python内存的待爬取set()集合和已爬取的set()集合中。因为Python中的set()可以去重。）小型/个人可以使用。
存储在关系数据库中：（MySQL：urls(url,is_crawled) 建立一张表用is_crawled标识是否已爬去）。如果内存不够用，可以使用这种。
缓存在数据库中。（redis,支持set这种数据结构。）因为其高性能，所以现在都是使用缓存数据库。

网页下载器

网页下载器：将互联网上URL对应的网页下载到本地的工具。是爬虫的核心组件。从互联网中获取HTML文件，然后存储成本地文件或者内存字符串。

Python中的网页下载器：

urllib2(Python3中已改为urllib.request) :urllib.request的使用方法
- Python官方的基础模块，
- 支持直接的URL下载，
- 或者向网页提交一些需要用户输入的数据。
- 支持需要登录网页的cookie处理，
- 支持需要代理访问的代理处理等对应增强功能。
requests:
- Python第三方插件功能强大。

网页解析器

网页解析器：从网页中提取有价值数据的工具。会已输入的HTML网页字符串输入，解析出有价值的数据和新的URL列表。
Python网页解析器：

正则表达式：将整个网页当成字符串使用模糊匹配的方式提取出有价值的数据，虽然直观但是若果内容比较复杂，这种方法就非常的麻烦。
html.parser ：Python自带的
Beautiful Soup:第三方插件，可以使用Python自带的html.parser和lxml作为解析器，相对来说比较强大。用于从HTML和XML中提取数据。
lxml：第三方插件可以解析html和xml
后三种都是使用了结构化解析。
结构化解析：将整个网页文档下载成一个DOM（Document Object Model）树，以树的形式，上下文解析的。是W3C官方指定的解析接口。

D5CDD0DF9D2B8A4D7828CEF47F19B89C.png

Beautiful Soup 语法

根据一个html网页的字符串创建一个Beautiful Soup 对象，创建的时候就可以将整个文件的字符串转换成一个DOM树。然后对这个DOM树就可以进行各种搜索节点，然后就可以访问节点的名称、属性、文字。
- find_all :搜索出所有满足要求的节点
- find：搜索出第一个满足要求的节点
- 这两个方法参数是一样的，可以按照：节点的名称、节点的属性、节点的文字三种方式进行搜索。
  
  BCCC199146DE0453D361C084712BBCEB.png

举个栗子：<a href='123.html' class = 'article_link'>Python</a>
节点的名称：a
节点的属性：href='123.html' 和class = 'article_link'
节点的内容：Python
伪代码：

from bs4 import BeautifulSoup
#根据HTML网页字符串常见的BeautifulSoup对象
soup = BeautifulSoup(html_doc,               #HTML文档字符串
                     'html.parser',          #HTML解析器
                     from_encoding = 'utf-8' #HTML文档的编码
                      )
#搜索节点：find_all(name,atts,string)
#查找所有节点
soup.find_all('a')
#查找标签为a，连接符合/view/123.html形式的节点
soup.find_all('a',href = '/view/123.html')
#可以使用正则表达式来匹配对应的内容
soup.find_all('a',href =re.compile(r'/ view/\d+\.html'))
#查找所有标签为div，class为adc，文字为Python的节点
soup.find_all('div',class_='abc',string='Python')
#访问节点
#得到了这个节点<a href='123.html' class = 'article_link'>Python</a>

#获取查找到的节点的标签名称
node.name
#获取查找到的a节点的href属性(以字典的形式)
node['href']                            
#获取查找到的a节点的连接文字
node.get_text()

BeautifulSoup简单使用