一、xpath 常用规则
image.png
二、在python的安装使用
python3环境下安装命令
pip install lxml
三、实践
1、常用数据的导入
（1） 通过html文件导入
html = etree.parse('./index.html',etree.HTMLParser())
result = etree.tostring(html)
print(result.decode('utf-8'))
image.png
( 2)通过字符串转成html格式
用lxml解析html，利用etree.HTML解析字符串将字符串解析从html格式的文件， 经过处理后，部分缺失的节点可以自动修复，并且还自动添加了 body、html 节点
text = '''
<ul>
<li class="item-0"><a href="https://s1.bdstatic.com/">item 0 </a></li>
<li class="item-1"><a href="https://s2.bdstatic.com/">item 1 </a></li>
<li class="item-2"><a href="https://s3.bdstatic.com/">item 2 </a></li>
<li class="item-3"><a href="https://s4.bdstatic.com/">item 3 </a></li>
<li class="item-4"><a href="https://s5.bdstatic.com/">item 4 </a></li>
<li class="item-5"><a href="https://s6.bdstatic.com/">item 5 </a></li>
</ul>
'''
html = etree.HTML(text)
s = etree.tostring(html).decode()
print(s)
image.png
2、通过绝对路径查找
（1）获取某个标签的文本内容
方式一：
html_data = html.xpath('/html/body/ul/li/a')
for i in html_data:
print(i.text)
image.png
# 方式二
html_data = html.xpath('/html/body/ul/li/a/text()')
print(html_data)
for i in html_data:
print(i)
image.png
(2)通过@xx获取属性
html_data = html.xpath('/html/body/ul/li/a/@href')
print(html_data)
for i in html_data:
print(i)
image.png
(3)通过[]获取指定属性标签的文本内容
html_data = html.xpath('/html/body/ul/li/a[@href="https://s1.bdstatic.com/"]/text()')
print(html_data)
image.png
3、通过相对路径获取内容
（1）获取标签内容
html_data = html.xpath('//li/a/text()')
print(html_data)
image.png
(2)获取标签属性
html_data = html.xpath('//li/a/@href')
print(html_data)
image.png
(3)获取指定属性标签的内容
html_data = html.xpath('//li/a[@href="https://s1.bdstatic.com/"]/text()')
print(html_data)
image.png
(4)获取指定索引的标签内容
html_data = html.xpath('//li[1]/a/text()')
print(html_data)
image.png
4、子节点
通过 / 或 // 即可查找元素的子节点或子孙节点。
选择 li 节点的所有直接 a 子节点xpath为：//li/a
5、父节点
html_data = html.xpath('//a[@href="https://s3.bdstatic.com/"]/../@class')
print(html_data)
image.png
6、常用属性
（1）匹配属性
标签[@属性=“”]
# 匹配属性
html_data = html.xpath('//a[@href="https://s1.bdstatic.com/"]/text()')
print(html_data)
（2）获取文本
@text()
# 匹配属性
html_data = html.xpath('//a[@href="https://s1.bdstatic.com/"]/text()')
print(html_data)
(3)获取属性
/@属性
# 获取属性
html_data = html.xpath('//li/a/@href')
print(html_data)
(4) 属性多值匹配
[contains(@属性,"值")]
html_data = html.xpath('//li[contains(@class, "a")]/a/text()')
print(html_data)
（5）多属性匹配
html_data = html.xpath('//li[contains(@class, "a") and
contains(@name,"1")]/a/text()')
print(html_data)
(6)last 函数
# 获取最后一个
result = html.xpath('//li[last()]/a/text()')
print(result)
# 获取倒数第三个
result = html.xpath('//li[last()-2]/a/text()')
print(result)
（7）position函数
# 获取前两个
result = html.xpath('//li[position()<3]/a/text()')
print(result)
(8)中括号获取
# 获取第一个
result = html.xpath('//li[1]/a/text()')
print(result)
