Python爬虫:Xpath语法笔记

一、选取节点

常用的路劲表达式:

表达式描述实例

nodename选取nodename节点的所有子节点xpath('//div')选取了div节点的所有子节点

/从根节点选取xpath('/div')从根节点上选取div节点

//选取所有的当前节点,不考虑他们的位置xpath('//div')选取所有的div节点

.选取当前节点xpath('./div')选取当前节点下的div节点

..选取当前节点的父节点xpath('..')回到上一个节点

@选取属性xpath('//@calss')选取所有的class属性

二、谓语

谓语被嵌在方括号内,用来查找某个特定的节点或包含某个制定的值的节点

实例:

表达式结果

xpath('/body/div[1]')选取body下的第一个div节点

xpath('/body/div[last()]')选取body下最后一个div节点

xpath('/body/div[last()-1]')选取body下倒数第二个div节点

xpath('/body/div[positon()<3]')选取body下前两个div节点

xpath('/body/div[@class]')选取body下带有class属性的div节点

xpath('/body/div[@class="main"]')选取body下class属性为main的div节点

xpath('/body/div[price>35.00]')选取body下price元素值大于35的div节点

三、通配符

Xpath通过通配符来选取未知的XML元素

表达式结果

xpath('/div/*')选取div下的所有子节点

xpath('/div[@*]')选取所有带属性的div节点

四、取多个路径

使用“|”运算符可以选取多个路径

表达式结果

xpath('//div|//table')选取所有的div和table节点

五、Xpath轴

轴可以定义相对于当前节点的节点集

轴名称表达式描述

ancestorxpath('./ancestor::*')选取当前节点的所有先辈节点(父、祖父)

ancestor-or-selfxpath('./ancestor-or-self::*')选取当前节点的所有先辈节点以及节点本身

attributexpath('./attribute::*')选取当前节点的所有属性

childxpath('./child::*')返回当前节点的所有子节点

descendantxpath('./descendant::*')返回当前节点的所有后代节点(子节点、孙节点)

followingxpath('./following::*')选取文档中当前节点结束标签后的所有节点

following-sibingxpath('./following-sibling::*')选取当前节点之后的兄弟节点

parentxpath('./parent::*')选取当前节点的父节点

precedingxpath('./preceding::*')选取文档中当前节点开始标签前的所有节点

preceding-siblingxpath('./preceding-sibling::*')选取当前节点之前的兄弟节点

selfxpath('./self::*')选取当前节点

六、功能函数    

使用功能函数能够更好的进行模糊搜索

函数用法解释

starts-withxpath('//div[starts-with(@id,"ma")]')选取id值以ma开头的div节点

containsxpath('//div[contains(@id,"ma")]')选取id值包含ma的div节点

andxpath('//div[contains(@id,"ma") and contains(@id,"in")]')选取id值包含ma和in的div节点

text()xpath('//div[contains(text(),"ma")]')选取节点文本包含ma的div节点

欢迎加入我的QQ群`923414804`与我一起学习,群里有我学习过程中整理的大量学习资料。加群即可免费获取

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容