详细学习requests_html库
官方文档：
http://html.python-requests.org/
安装
pip3 install requests_html
获取网页：
from requests_html import HTMLSession,HTML
session = HTMLSession()
url = "https://www.qiushibaike.com/text/"
h = session.get(url=url)
requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。
而requests-html自带了这个功能，所以在爬取网页等方面非常方便
查看页面内容
print(h.html.html)
获取连接：
links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）
相对路径
for _ in h.html.links:
print(_)
绝对路径
for _ in h.html.absolute_links:
print(_)
获取元素：
request-html支持CSS选择器和XPATH两种语法来选取HTML元素。
1、CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：
- selector，要用的CSS选择器；
- clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
- containing，如果设置该属性，会返回包含该属性文本的标签；
- first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
- _encoding，编码格式。
首页菜单文本
print(h.html.find('div#menu',first=True).text)
查看菜单元素
print(h.html.find('div#menu a'))
段子内容
list_story = []
for i in h.html.find('div.content span'):
# print(i.text)
# print()
list_story.append(i.text)
print(list_story)
2、XPATH语法，这需要另一个函数xpath的支持，它有4个参数如下：
- selector，要用的XPATH选择器；
- clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
- first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
- _encoding，编码格式。
获取首页菜单文本
print(h.html.xpath("//div[@id='menu']",first=True).text)
查看菜单元素
print(h.html.xpath("//div[@id='menu']/a"))
段子内容
print(h.html.xpath("//div[@class='content']/span/text()"))
元素内容
e = h.html.find('div#hd_logo',first=True)
print(e.text)
要获取元素的attribute，用attr属性
print(e.attrs)
获取元素的html代码
print(e.html)
要搜索元素的文本内容，用search函数
print(e.search('糗{事}{}科')[0])
两个链接属性
print(e.links) # 相对路径
print(e.absolute_links) # 绝对路径
JavaScript支持
r = session.get('http://python-requests.org/')
r.html.render()
3、render函数还有一些参数，顺便介绍一下（这些参数有的还有默认值，直接看源代码方法参数列表即可）：
- retries: 加载页面失败的次数
- script: 页面上需要执行的JS脚本（可选）
- wait: 加载页面钱的等待时间（秒），防止超时（可选）
- scrolldown: 页面向下滚动的次数
- sleep: 在页面初次渲染之后的等待时间
- reload: 如果为假，那么页面不会从浏览器中加载，而是从内存中加载
- keep_page: 如果为真，允许你用r.html.page访问页面
智能分页
rq = session.get("https://reddit.com")
for html in rq.html:
print(html)
直接使用HTML
doc = """
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="gbk2312">
<title>首页</title>
</head>
<body>
<h1>Hello, world!</h1>
<p>这是一个神奇的网站！</p>
<hr>
<div>
<h2>这是一个例子程序</h2>
<p>静夜思</p>
<p class="foo">床前明月光</p>
<p id="bar">疑似地上霜</p>
<p class="foo">举头望明月</p>
<div><a href="http://www.baidu.com"><p>低头思故乡</p></a></div>
</div>
<a class="foo" href="http://www.qq.com">腾讯网</a>
<img src="./img/pretty-girl.png" alt="美女">
<img src="./img/hellokitty.png" alt="凯蒂猫">
<img src="/static/img/pretty-girl.png" alt="美女">
<table>
<tr>
<th>姓名</th>
<th>上场时间</th>
<th>得分</th>
<th>篮板</th>
<th>助攻</th>
</tr>
</table>
</body>
</html>
test_html = HTML(html=doc)
print(test_html.links)
直接渲染JS代码
script = """
() => {
return {
width: document.documentElement.clientWidth,
height: document.documentElement.clientHeight,
deviceScaleFactor: window.devicePixelRatio,
}
}
"""
my_html = test_html.render(script=script,reload=False)
print(my_html)
print(test_html.html)
自定义请求
4、自定义用户代理：有些网站会使用UA来识别客户端类型，有时候需要伪造UA来实现某些操作。
如果查看文档的话会发现HTMLSession上的很多请求方法都有一个额外的参数**kwargs，
这个参数用来向底层的请求传递额外参数。我们先向网站发送一个请求，看看返回的网站信息
from pprint import pprint # 提供了可以按照某个格式正确的显示python已知类型数据的一种方法
import json
pp_r = session.get('http://httpbin.org/get')
pprint(json.loads(pp_r.html.html))
更换UA ,这里拿UA距离，如果有需要可以在header中修改其他参数
ua = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0'
ppp_r = session.get('http://httpbin.org/get',headers={'user-agent': ua})
pprint(json.loads(ppp_r.html.html))
模拟表单登陆：
HTMLSession带了一整套的HTTP方法，包括get、post、delete等，对应HTTP中各个方法。比如下面我们就来模拟一下表单登录
表单登陆
r1 = session.post('http://httpbin.org/post', data={'username': 'good', 'passwd': 123456})
pprint(json.loads(r1.html.html))
实例：爬去自己简书文章
my_url = 'https://www.jianshu.com/u/1f9e71a85238'
my_requests = session.get(url=my_url)
my_requests.html.render(scrolldown=50,sleep=2)
titles = my_requests.html.find('a.title')
for i,title in enumerate(titles):
print(f'{i+1} {title.text}：https://www.jianshu.com{title.attrs["href"]}')
