1.1、爬虫分类
(1)通用爬虫
通常是对搜索引擎的内容，全部爬取下来，速度较快
(2)聚焦爬虫
聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL，并重复上述过程，直到达到系统的某一条件时停止
1.2 爬虫的工作原理
Web网络爬虫系统的功能是下载网页数据，为搜索引擎系统提供数据来源。很多大型的网络搜索引擎系统都被称为基于 Web数据采集的搜索引擎系统，比如 Google、Baidu。由此可见Web 网络爬虫系统在搜索引擎中的重要性。网页中除了包含供用户阅读的文字信息外，还包含一些超链接信息。Web网络爬虫系统正是通过网页中的超连接信息不断获得网络上的其它网页。正是因为这种采集过程像一个爬虫或者蜘蛛在网络上漫游，所以它才被称为网络爬虫系统或者网络蜘蛛系统，在英文中称为Spider或者Crawler。
1.3 网络爬虫基本流程
1、发起请求：通过HTTP库（如urllib、requests库）向目标网站发起请求，即发送一个Request，请求可以包含额外的headers等信息，等待服务器响应。
2、获取响应内容：如果服务器能正常响应，会得到一个Response，Response的内容便是所要获取的页面内容，类型可能有HTML，Json字符串，二进制数据（如图片视频）等类型。
3、解析内容：得到的内容可能是HTML，可以用正则表达式、网页解析库（Beautifulsoup、Xpath等）进行解析。可能是Json，可以直接转为Json对象解析，可能是二进制数据，可以做保存或者进一步的处理。
4、保存数据：保存形式多样，可以存为文本，也可以保存至数据库（MongoDB/Mysql/Redis等），或者保存特定格式的文件。
1.4 Request和Response
（1）Request：浏览器就发送消息给该网址所在的服务器，这个过程叫做HTTP Request。
Request详解
请求方式：主要有GET、POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。
GET请求和POST请求方式的区别：
GET 请求中的参数包含在URL 里面，数据可以在URL 中看到，而POST 请求的URL 不会包
含这些数据，数据都是通过表单形式传输的，会包含在请求体中。
GET 请求提交的数据最多只有1024 字节，而POST 方式没有限制。
POST请求一般发送表单数据
请求URL：URL全称统一资源定位符，如一个网页文档、一张图片、一个视频等都可以用URL唯一来确定。
请求头：包含请求时的头部信息，如User-Agent、Host、Cookies等信息。
请求体：请求时额外携带的数据如表单提交时的表单数据。
（2）Response:服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response。浏览器收到服务器的Response信息后，会对信息进行相应处理，然后展示。
Response详解
响应状态：有多种响应状态，如200代表成功、301跳转、404找不到页面、502服务器错误。
响应头：如内容类型、内容长度、服务器信息、设置Cookie等等。
响应体：最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等。
1.5 JavaScript渲染页面
部分网站在使用urllib或requests抓取网页时，获取的源代码和浏览器中看到的不一致，源代码中包含<script src=’xx.js’></script>，这就是采用了Ajax或者其他模块化工具构建的，整个网页都是有JS渲染出来的，浏览器就会去请求JS文件。这时需要分析发送给后台的Ajax接口，也可以使用Selenium、Splash这样的库来模拟JS渲染后的页面，从而获取数据。后面会详细说明，如何获取JS、Ajax网页的数据。
1.6 会话和Cookies
有些网站需要登录之后才能抓取数据，如豆瓣这些网站。
这时两个用于保持HTTP 连接状态的技术就出现了，它们分别是会话和Cookies 。会话在服务端，
也就是网站的服务器，用来保存用户的会话信息； Cookies 在客户端，也可以理解为浏览器端，有了Cookies ，浏览器在下次访问网页时会自动附带上它发送给服务器，服务器通过识别Cookjes 并鉴定出是哪个用户，然后再判断用户是否是登录状态，然后返回对应的响应。
我们可以理解为Cookies 里面保存了登录的凭证，有了它，只需要在下次请求携带Cookies 发送
请求而不必重新输入用户名、密码等信息重新登录了。
因此在爬虫中，有时候处理需要登录才能访问的页面时，我们一般会直接将登录成功后获取的
Cookies 放在请求头里面直接请求，而不必重新模拟登录。
1.7 爬虫代理
由于单个IP请求某个网站的访问次数太多，会出现403的错误，这种情况称为封IP。这时需要用到代理IP。
1.7.1 基本原理
代理实际上指的就是代理服务器，英文叫作proxy server ，它的功能是代理网络用户去取得网络信
息。形象地说，它是网络信息的中转站。在我们正常请求一个网站时， 是发送了请求给Web 服务器，Web 服务器把响应传回给我们。如果设置了代理服务器， 实际上就是在本机和服务器之间搭建了一个桥， 此时本机不是直接向Web 服务器发起请求，而是向代理服务器发出请求，请求会发送给代理服务器，然后由代理服务器再发送给Web 服务器，接着由代理服务器再把Web 服务器返回的响应转发给本机。这样我们同样可以正常访问网页，但这个过程中Web 服务器识别出的真实IP 就不再是我们本机的IP 了，就成功实现了IP 伪装，这就是代理的基本原理。
1.7.2 常见代理设置
（1）使用网上免费的代理：最好使用高匿代理，需要在使用前筛选下可用代理，也可以进一步维护一个代理池。
（2）付费代理服务：通过代理商，付费使用
