1.爬虫引入
爬虫引入
用python写爬虫程序最合适
针对爬虫有一个robots.txt协议，不过我们不需要遵守
网页的排名使用page_rank算法
我们写的不是通用爬虫，是聚焦爬虫
url
http://www.baidu.com:80/index.html?name=goudan&pwd=123#lala
协议 主机 端口 请求文件 请求参数 锚点
协议 http协议（明文） https协议（加密）
端口 http用80端口 https用443端口
上网原理
把域名变成ip
通过ip找到服务器
服务器返回html
解析html并请求其中引用的其他资源
渲染
http协议
请求
cookie 携带一些个人信息
user_agent 客户端先关信息
referer 从哪个地址来到当前地址
响应
状态码 200成功 307重定向 404找不到 500服务器内部错误
2.抓包工具
chrome的开发者工具的使用
停止录制
清理
过滤
搜索
3.urllib简介
官方文档
https://docs.python.org/3/library/urllib.html
urllib是python自带的一个包，里面有很多处理url的模块
版本问题
python2：urllib urllib2
python3：urllib
三个主要模块
urllib.request urllib.parse urlllib.error
4. urllib.request模块
import urllib.request
url = "http://www.baidu.com"
response = urllib.request.urlopen(url)
print(response)
urllib.request
获取的方法
urlopen() 获取response对象 *****
response对象方法
read() 获取字节类型的响应内容 *****
geturl() 获取请求的那个url
getheaders() 获得响应头信息
getcode() 获取状态码
readline() 读取一行
readlines() 返回一个列表，列表中是每一行内容
urlretrieve() 直接获取内容并保存到本地（图片 网页 视频 均可下载）
urlopen() 获取内容的二进制数据 然后 处理一下 再保存到本地（图片 网页 视频 均可下载）
urllib.parse
quote() 编码
unquote() 解码
urlencode(dict) 对字典进行编码，并且将其转化为query_string *****
5.构建请求对象
【注1】如果url只是到域名就结束，那么域名的后面需要加/，浏览器不加也行，是因为浏览器会自动添加
【注2】通过抓包发现，你现在的UA就是python，定制自己的UA，将自己伪装成浏览器
【注3】跑爬虫代码的时候，要把fiddler关掉，否则速度会很慢
import urllib.request
url = "http://www.baidu.com/"
user_agent = "Mozilla/5.0 (Windows NT 10.0;
Win64; x64) AppleWebKit/537.36 " \
"(KHTML, like Gecko)
Chrome/67.0.3396.99 Safari/537.36*jfeng6*"
headers = {
"User-Agent": user_agent
}
request_obj = urllib.request.Request(url,
headers=headers)
response_obj =
urllib.request.urlopen(request_obj)
print(response_obj.read())
6.HTTP协议
1、什么是HTTP协议？
1）是基于请求与响应的应用层协议，底层协议TCP保证了数据可靠传输 2）通过url进行客户端与服务器之间的数据交互 3）是一种C/S（B/S）模式的协议，客户端向服务器发起请求，服务器处理请求并且返回响应 4）该协议是一种无状态的协议（不会记录用户的访问状态）
2、http协议过程：
1）创建TCP链接：客户端与服务器的三次握手：客户端向服务器发出一个是否同意创建连接的信号、服务器回应给客户是否空闲(即是否可以创建连接) 、客户端再次向服务器发起创建连接的信息进而创建连接；通过三次握手以后客户端和服务器就创建出了一数据通路，接下来就可以保证http协议包的可靠传输了
2）客户端向服务器发起http请求：通过url把参数（请求体）以及请求头传递给服务器，请求方式有常见4中，常用get和post
请求头：请求头中包含了本次请求的相关的配置信息（比如数据格式、cookie等），决定了客户端和服务器进行数据交流的方式与格式
请求体：就是参数，客户端向服务提交的内容
get和post请求的区别：
形式上：get请求参数拼接在url后面 post请求不体现在url中
内容上：get请求有数据量的限制（不同的浏览器对url最大长度都有不同的限制），post的请求是不限制请求体数据量的（有的web服务器会有一个最大请求体的限制，比如阿帕奇限制为20M）
3）服务器处理请求，并且把处理结果响应给客户端
4）关闭连接：TCP的四次挥手
