应用场景:
选取HTML中特定节点,以期获取特定的文本值!对于小编来说,多用于爬虫制作过程中需要页面解析的部分
注:xpath本身功能非常强大,但对于一个爬虫来说,主要的就是定位节点和获取属性或文本值这些基础功能,而小编在接下来的讲解中也只涉及这些内容@_@)
简单介绍:
在w3school介绍中,xpath是在xml中进行导航的工具,凭借的就是xml的这种非常结构化的结构,所以在HTML中也是可以用xpath进行元素节点的获取!
使用之前需要做什么:
分两类:
1. 对xpath进行原生支持的工具,则只要会xpath表达式就行:
如Python中导入selenium模块,初始化得到一个driver对象后,凭借其本身方法就行:
driver.find_element_by_xpath("xpath表达式")
2. 其余的日常使用:
结合lxml模块(小编用的是Python语言)
from lxml import html
html_text = """
<html>
<head>
<title>HTML文本</title>
</head>
<body>
<div>
<p>
xpath笔记-爬虫篇
</p>
</div>
</body>
</html>
"""
tree = html.fromstring(html_text) # 将html_text这个HTML文件转换成一个'树'结构,存入tree中
target = tree.xpath("//body/div/p/text()")[0] # 获取html_text这个html文件中的p标签的文本内容'xpath笔记-爬虫篇'
xpath表达式语法:
1. 基本概念和语法:
我不想照抄其他人的文本和概念,所以,详情请参考:
http://www.w3school.com.cn/xpath/xpath_nodes.asp
2. 对谓语, 步, 和轴的理解
- 什么是谓语?
谓语是对主语的动作或状态的陈述或者说明.具体到这里,就是对选择的节点要进一步做什么来进行说明,说白了就是判断的条件!需要注意的是,谓语必须在中括号[] 里面
tree.xpath("//div[3]") ## 选取整个html文档中遇到的第三个div(上面的示例中没有)
- 什么是步?
在xpath中两个正斜杠"/"之间就可以认为是一'步',可以这样想:从html这个节点,深入一"步",到下一个div节点 @_@ - 什么是轴?
首先需要说明的是,轴是包含在步里面的
轴就是从选定的某个节点开始,拓展节点选择的范围,轴就是节点的一个范围,也就是w3school中说的节点集,举个例子:
tree.xpath("//html/div[1]") # 第一句
tree.xpath("//html/div[1]/child::p") # 第二句
上面代码中,第一句的代码只是选择到html中遇到的第一个div;
而第二句中,就多了一个轴,叫child,代表上个节点的所有子节点,所以就选择的是第一个div所有子元素中的标签名为p的节点(看,这个节点的范围是不是被"拓展"了,虽然不知道这个p标签在现实情况中有多少个,但在逻辑上是"很多个", >_<)
具体应用中需要多注意的事项:
- 通过lxml"格式化"html文档后,进行xpath选择,不管有没有选择到元素,所得到的都是一个列表(哪怕选择的就直接是标签内的文本值,返回的都是列表)
- 如果选择的是标签,返回的列表就是标签所对应的地址对象;如果是文本(如标签内的值,或属性值),返回的就是文本值的列表
- 除非很有把握,不然就多try......except IndexError.......
具体应用中需要多注意的技巧:
- chrome浏览器中有一个扩展,叫Xpath Helper,能很好的进行xpath语法校验,并高亮标记被选的标签(前提是语法正确并确实有这个元素)
- nodename//*/text(),获取nodename节点下所有节点的文本内容,不管深度
- nodename[text()='特定文本'],选取节点文本内容是"特定文本"的所有nodename节点
- nodename/following-sibling::div[1], 选取nodename后面的同级节点中的第一个div标签
- 在浏览器或者插件中行的通的xpath表达式不一定在爬虫行的通(一般来说是都可行的,但是小编也遇到过这种行不通的),这个时候,建议下载需要爬取的页面html文件,仔细的确定下html文档结构,再构建xpath表达式(有很多html文件结构是很杂乱的,而浏览器是可以'修饰'HTML文件的)
相关文档
- w3school中xpath教程:http://www.w3school.com.cn/xpath/xpath_intro.asp
- xpath中lxml官方文档: https://pythonguidecn.readthedocs.io/zh/latest/scenarios/scrape.html#id1
