一、爬虫的定义：

程序或者脚本---》自动的爬取万维网的数据的程序或者脚本。

二、爬虫可以解决的问题：

（1）解决冷启动问题。

（2）搜索引擎的根基。---通用爬虫。

（3）帮助机器学习建立知识图谱。

（4）制作各种比价软件。

三、爬虫工程师的进阶之路：

初级爬虫工程师

1.web 前端的知识： HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、json 等；

2、正则表达式， 能提取正常一般网页中想要的信息，比如某些特殊的文字， 链接信息， 知道什么是懒惰， 什么是贪婪型的正则；

3、会使用 XPath 等获取一些DOM 结构中的节点信息；

4、知道什么是深度优先， 广度优先的抓取算法， 及实践中的使用规则；

5、能分析简单网站的结构， 会使用urllib或requests 库进行简单的数据抓取。

中级爬虫工程师：

1、了解什么事HASH，会简单地使用MD5，SHA1等算法对数据进行HASH一遍存储

2、熟悉HTTP，HTTPS协议的基础知识，了解GET，POST方法，了解HTTP头中的信息，包括返回状态码，编码，user-agent，cookie，session等

3、能设置user-agent进行数据爬取，设置代理等

4、知道什么事Request，什么事response，会使用Fiddler等工具抓取及分析简单地网络数据包；对于动态爬虫，要学会分析ajax请求，模拟制造post数据包请求，抓取客户端session等信息，对于一些简单的网站，能够通过模拟数据包进行自动登录。

5、对于一些难搞定的网站学会使用phantomjs+selenium抓取一些动态网页信息

6、并发下载，通过并行下载加速数据爬取；多线程的使用。

高级爬虫工程师：

1、能够使用Tesseract，百度AI，HOG+SVM，CNN等库进行验证码识别。

2、能使用数据挖掘技术，分类算法等避免死链。

3、会使用常用的数据库进行数据存储，查询。比如mongoDB，redis；学习如何通过缓存避免重复下载的问题。

4、能够使用机器学习的技术动态调整爬虫的爬取策略，从而避免被禁IP封禁等。

5、能使用一些开源框架scrapy，scrapy-redis等分布式爬虫，能部署掌控分布式爬虫进行大规模数据爬取。

四、搜索引擎：

1、什么是搜索引擎：

搜索引擎通过特定算法，从互联网上获取网页信息，将其保存到本地，为用户提供检索服务的一种程序。

2、搜索引擎的组成：

搜索引擎主要是是由通用爬虫组成的。

（1）通用爬虫：将互联网上的网页信息【整体】爬取下来的爬虫程序。

（2）搜索引擎的工作步骤：

1、抓取网页

2、数据存储

3、预处理

提取文字

中文分词

消除噪音

。。。

4、设置网站排名（访问量），为用户提供检索服务。

（3）为什么搜索引擎可以爬取所有的网页？---搜索引擎的通用是如何来爬取所有网页的。

一个网页就是一个url，这个问题其实在问，【url的获取来源】。

url的获取来源：

1、新网站会主动提交网址给搜索引擎。

2、网页中的一些外链，这些url全部都会加入到通用爬虫的爬取队列。

3、搜索引擎和dns解析服务商合作，如果有新网站注册，搜索引擎就可拿到网址。

3、通用爬虫的缺陷：

（1）通用爬虫是爬取整个网页，但是网页中90%的内容基本是没用。

（2）不能满足不同行业，不同人员的不同需求。

（3）只能获取文字，不能获取音频，视频，文档等信息。

（4）只能通过关键字查询，无法通过语义查询。

4、聚焦爬虫：

在实施网页抓取的过程中，【会对内容进行筛选】，尽量保证只抓取与【需求相关】的信息的爬虫程序。

五、robots协议：

定义：网络爬虫排除标准

作用：告诉搜索引擎那些可以爬那些不能爬。

六、http协议：

1、什么是http协议：

是一种规范——————>约束发布和接受html的规范。

2、http和https

http：超文本传输协议。

https:安全版的http协议。---ssl---

对称加密---密钥

非对称---私钥+公钥

3、数字签证

https：443

http：80

  Upgrade-Insecure-Requests: 1：可以将http升级成https请求。

4、http的特点：

（1）应用层协议。

（2）无连接：http每次发送请求和响应的过程都是独立。

在http 1.0以后，有请求头：connection：keep-alive：客户端和服务建立长连接。

（3）无状态：http协议不记录状态。

cookie和session做到请求状态的记录。

cookie是在客户端保存，session是在服务器保存。

5、url：统一资源定位符。

（1）主要作用：用来定位互联网上的任意资源的位置。

（2）为什么url可以定位任意资源？

组成：https://www.baidu.com/index.html?username=123&password=abc#top

scheme：协议---https

netloc:网络地址：ip:port---www.baidu.com

通过ip定位电脑，通过port定位应用。

192.168.92.10:

代理ip：ip：port

path：资源路径。---index.html

query：请求参数：---？后面的内容username=123&password=abc

fragment：锚点----top

原因：url包含netloc可以定位电脑，path定位资源，这样就可以找到任意在互联网上的信息。

（3）特殊符号：

？：后面就是请求参数

&:连接请求参数

#:锚点----如果url中有锚点，在爬虫程序中尽量去除。

6、 http的工作过程：

（1）地址解析：

将url的所有组成部分分别解析出来。

（2）封装http请求数据包。

将第一步解析出来的信息进行装包。---http数据包。

（3）封装tcp数据包，通过三次握手建立tcp。

（4）客户端发送请求

（5）服务发送响应

（6）关闭tcp连接。

7、当我们在浏览器输入一个url，浏览器加载出这个页面，中间做了哪些事？

（1）客户端解析url，封装数据包，建立连接，发送请求。

（2）服务器返回url对应资源文件给客户端，比如：index.html。

（3）客户端检查index.html是否有静态资源（引用外部文件），比如js，css，图片。有的话再分别发送请求，来获取这些静态资源。

（4）客户端获取所有静态，通过html语法，完全将index.html页面显示出来。

8、 http的请求方法：

get请求：get（获取）-->获取服务器的指定资源--->涉及到筛选一些信息--->请求参数：主要拼接在url中。--->不安全（别人可以通过url获取信息）--->请求参数的大小受限。

post请求：post（邮递）--->向服务器传递数据--->请求数据是方法在请求实体中的--->安全--->大小不受限。

9、客户端请求

（1）组成：请求行、请求头、空行、请求数据（实体）

请求头：请求方法；host地址，http协议版本。

（2）请求头：

user-agent：客户端标识。

accept：允许传入的文件类型。

Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3

Referer：标识产生请求的网页来自于哪个网页。

防盗链

cookie：cookie信息。---现在很多网站，必须封装cookie才给数据。

post请求重要的请求头：

content-type:post请求的数据类型

content-length:post请求数据的长度。

ajax请求必须封装的头：

x-requested-with:xmlhttprequest

10、服务器响应：

（1）组成：状态行、响应头、空行、响应正文。

（2）响应头：

Content-Type：text/html;charset=UTF-8

（3）状态码（面试常考）：

1XX:表示服务器成功接收部分请求，还需要发剩余请求才能处理整个过程。（处理了一半）

2XX:标识服务器成功接收请求并处理完整个过程。（成功）

200成功

3XX:为了完成请求，客户端需要进一步细化请求。

302：重定向

304：使用缓存资源

4XX：客户端请求错误。（url写错了）

404:服务器无法找到请求内容。

403:服务器拒绝访问，权限不够。

5XX:服务器错误。

502：服务器错误

500：请求未完成，服务器遇到不可知问题。