什么是爬虫？

就是一段自动抓取互联网数据的程序或脚本

网页的三大特性

1.每个网页都有自己唯一的URL地址（统一资源定位符）
2.网页都是通过HTML(超文本)展示数据的
3.网页是通过HTTP/HTTPS（超文本传输协议）来传输HTML的

爬虫最基本的步骤

1.寻找目标URL地址，发起请求
2.获取请求响应结果，分析相应结果
3.从响应结果中提取数据

a.第一部分，从网页中提取的目标数据
b. 如果存在新的URL地址，则提取，继续发起请求

爬虫结束：所有的目标URL全部请求完毕，则爬虫结束

爬虫的分类

• 通用爬虫，聚焦爬虫

七层协议

应用层 表示层 会话层 传输层 网络层 数据链路层 物理层

应用层：http/https
传输层:TCP/UDP
TCP:网络传输协议,面向连接的,长连接,传输的是数据流
,确保数据的安全性和完整性,但是数据传输的效率低
UDP:网络传输协议,是非面向连接的,短连接,传输的是数据包,
传输数据是不安全的,可能会造成数据的丢失,传输速度非常快

http(超文本传输协议，端口号是80)
实现从网络传输草文本数据到本地浏览器的传送协议

https(端口号是443)：是http的安全版本，在http的基础上添加了一个SSL(安全套阶层)，用于WEB端的安全传送，在传输层对网络进行加密
1.构建了一个安全的数据传输通道
2.保证网站的真实性和有效性

常见的请求状态码：

200：请求成功
3xx:重定向 |301永久重定向|302临时重定向
4xx:客户端请求错误|400请求错误，服务器无法解析|401未授权，没有进行身份验证|403服务器拒绝访问|404访问的页面不存在|405请求方式不允许|408请求超时
5xx:服务器出现错误|500服务器内部错误|501服务器暂时不具备完成请求功能|503服务器不可用

URL介绍

• URI:统一资源标志符
• URN:统一资源名称
• URL:统一资源定位符
• URI是URN和URL的父类

scheme:指的是协议(https/http)
host:值得是服务器的ip或者域名
port:指的是端口号
path:资源路径
query_string:url地址后面的查询参数
anchor(锚点):可以指定要跳转的位置

parse

parse：可以对url进行拆分，组合，编码，解码，拼接
parse.urlencode()：将字典类型的参数转为url编码格式
get请求直接使用urlencode将参数转为url编码格式
post请求urlencode将参数转为url编码格式，然后用encode方法将字符串转为bytes类型
parse.parse_qs():将url编码格式转化为字典类型
parse.quote():将中文符转为url编码
parse.unquote():将url编码的字符转为中文字符
parse.urljoin():将不完整的url参照基类url拼接完整
parse.urlparse():解析url，将url拆分

error

error:在我们请求过程中，可能因为服务器错，弱网环境造成请求失败，这时我们需要对这些错误进行处理，不然会造成代码崩溃
error.URLError:
原因：没网络连接
服务器连接失败
找不到指定的服务器
有一个reason属性：返回错误原因
error.HTTPError:
HTTP请求错误
code：请求状态码
reason：返回错误原因
headers：返回响应头部

正则

单个字符

多个字符

多字符匹配（非贪婪模式）
（*？）（+？）（？？）