Cookie模拟登录
什么是cookie session
HTTP协议是一种无连接协议,客户端和服务器交互仅仅局限于请求/响应之间,下一次再请求时,服务器会认为是一个新的客户端,为了维护他们之间的连接,让服务器知道是上一个用户发起的请求,必须在一个地方保存客户端信息
cookie : 客户端信息确定用户身份
session: 服务端信息确定用户身份
使用cookie模拟登录人人网
先登录成功1次,获取到cookie
拿着cookie去抓取需要登录才能看到的页面
requests模块
安装
以管理员身份打开Anaconda Prompt,输入conda install requests
常用方法
get(url, headers=headers)
响应对象res属性
1.encoding: 响应编码
res.encoding = 'utf-8'
2.text: 字符串
3.content: bytes
4.status_code: HTTP 响应码
5.url: 返回实际数据的 URL 地址
三步
res = request.get(url,headers=headers)
res.encoding = "utf-8"
html = res.text
get()方法中参数
查询参数(params)：字典
res = requests.get(baseurl, params={},)
自动对对params字典进行编码,自动拼接URL地址
输入搜索内容,再输入第几页
使用代理
获取IP地址的网站
快代理 全网代理
普通代理
格式： proxies{"协议":"协议://IP: 端口号"}
测试网站 :http://httpbin.org/get/
proxies={"http":"http://37.192.32.213:36344"}
测试小思路
try:
res = requests.get(url,timeout=3)
if res.status_code == 200:
[].append()
except:
pass
私密代理
格式：proxies={"http":"http://用户名:密码@IP地址:端口号"}
Web客户端验证(auth)
auth = ("用户名","密码")
SSL证书认证(verify)
verify = True(默认)：进行CA证书认证
verify = False：不进行认证
参数为True进行认证，去访问https网站（没有进行CA认证），抛出异常：SSLError
res = requests.get(url,params,headers,proxies,auth,verify)
post()方法
requests.post(url, data=data, ...)
data: 字典，Form表单数据，不用编码，不用转码
xpath 工具（解析）
在XML文档中查找信息的语言，同样适用于HTML文档的检索
xpath辅助工具
Chrome插件： XPath Helper
使用：打开 | 关闭： Ctrl+shift+x
Firefox 插件：XPath Checker
XPath 编辑工具： XML quire
匹配演示
<bookstore>
<book>
<title lang="en">Harry Potter</title>
<author>J K. Rowling</author>
<year>2005</year>
<price>29.99</price>
</book>
<book>
<title lang="chs">Python</title>
<author>Joe</author>
<year>2018</year>
<price>49.99</price>
</book>
</bookstore>
1.查找所有的book节点：//book
2.查找所有的book节点下的title节点中，lang属性为"en"的节点：//book/title[@lang="en"]
3.查找bookstore下面的第二个book节点下的title子节点：/bookstore/book[2]/title
选取节点
//：从整个文档中查找节点
@： 选取某个节点的属性值 //title[@lang="en"]
@的使用
选取1类节点： //title[@lang="en"]
选取存在某个属性节点： //title[@lang]
选取节点的属性值：//title/@lang
匹配多路径：|
xpath表达式1 | xpath表达式2
获取所有book节点下的title子节点和price子节点：//book/title | //book//price
函数
1.contains()：匹配一个属性值中包含某些字符串的节点
//title[contains(@lang,"e")]
2.text()：获取文本
//title[contains(@lang,'e')]/text()
lxml库及xpath使用
1 安装
管理员Prompt: conda install lxml
2 使用流程
- 导入模块
from lxml import etree - 创建解析对象
parseHtml = etree.HTML(html) - 调用xpath
rList = parseHtml.xpath('xpath表达式')
只要调用了xpath，结果一定是列表
