[Scrapy-4] XPath教程

XPath是一门在XML文档中查找信息的语言,XPath可用来在XML文档中对元素和属性进行遍历。

如果路径以/开头,该路径表示到一个元素的绝对路径

<AAA>
    <BBB/>
    <CCC/>
    <BBB/>
    <BBB/>
    <DDD>
        <BBB/>
    </DDD>
    <CCC/>
</AAA>

选择根元素AAA:/AAA

选择AAA的所有CCC子元素:/AAA/CCC

选择AAA的子元素DDD的所有BBB元素:/AAA/DDD/BBB

如果路径以//开头,表示选择文档中所有满足双斜线//之后规则的元素(无论层级关系)

<AAA>
    <BBB/>
    <CCC/>
    <BBB/>
    <DDD>
        <BBB/>
    </DDD>
    <CCC>
        <DDD>
            <BBB/>
            <BBB/>
        </DDD>
    </CCC>
</AAA>

选择所有BBB元素://BBB

选择所有父元素是DDD的BBB元素://DDD/BBB

星号*表示选择所有由星号之前的路径所定位的元素

<AAA>
    <XXX>
        <DDD>
            <BBB/>
            <BBB/>
            <EEE/>
            <FFF/>
        </DDD>
    </XXX>
    <CCC>
        <DDD>
            <BBB/>
            <BBB/>
            <EEE/>
            <FFF/>
        </DDD>
    </CCC>
    <CCC>
        <BBB>
            <BBB>
                <BBB/>
            </BBB>
        </BBB>
    </CCC>
</AAA>

选择所有路径依附于/AAA/CCC/DDD的元素:/AAA/CCC/DDD/*

选择所有有3个祖先元素的BBB元素:/*/*/*/BBB

选择所有元素://*

方括号里的表达式可以进一步指定元素,其中数字表示元素在选择集里的位置,而last()函数表示选择集中的最后一个元素

<AAA>
    <BBB/>
    <BBB/>
    <BBB/>
    <BBB/>
</AAA>

选择AAA的第一个BBB元素:/AAA/BBB[1]

选择AAA的最后一个BBB元素:/AAA/BBB[last()]

属性通过前缀@来指定

<AAA>
    <BBB id="b1"/>
    <BBB id="b2"/>
    <BBB name="bbb"/>
    <BBB/>
</AAA>

选择所有的id属性://@id

选择有id属性的BBB元素://BBB[@id]

选择有name属性的BBB元素://BBB[@name]

选择有任意属性的BBB元素://BBB[@*]

选择没有属性的BBB元素://BBB[not(@*)]

属性的值可以被用来做为选择的准则

normalize-space函数删除了前部和尾部的空格,并且把连续的空格串替换为一个单一的空格

<AAA>
    <BBB id="b1"/>
    <BBB name=" bbb "/>
    <BBB name="bbb"/>
</AAA>

选择含有属性id且其值为“b1”的元素://BBB[@id='b1']

选择含有属性name且其值为“bbb”的BBB元素://BBB[@name='bbb']

选择含有属性name且其值(在用normalize-space函数去掉前后空格后)为“bbb”的BBB元素://BBB[normalize-space(@name)='bbb']

count()函数可以计数所选元素的个数

<AAA>
    <CCC>
        <BBB/>
        <BBB/>
        <BBB/>
    </CCC>
    <DDD>
        <BBB/>
        <BBB/>
    </DDD>
    <EEE>
        <CCC/>
        <DDD/>
    </EEE>
</AAA>

选择含有两个BBB子元素的元素://*[count(BBB)=2]

选择含有两个子元素的元素://*[count(*)=2]

选择含有3哥子元素的元素://*[count(*)=3]

name()函数返回元素的名称,start-with()函数在该函数的第一个参数字符串是以第二个参数字符开始的情况返回true,contains()函数当其第一个字符串参数包含有第二个字符串参数时返回true

<AAA>
    <BCC>
        <BBB/>
        <BBB/>
        <BBB/>
    </BCC>
    <DDB>
        <BBB/>
        <BBB/>
    </DDB>
    <BEC>
        <CCC/>
        <DBD/>
    </BEC>
</AAA>

选择所有名称为BBB的元素(这里等价于//BBB)://*[name()='BBB']

选择所有名称以“B”起始的元素://*[start-with(name(), 'B')]

选择所有名称包含“C”的元素://*[contains(name(), 'C')]

string-length函数返回字符串的字符数

<AAA>
    <Q/>
    <SSSS/>
    <BB/>
    <CCC/>
    <DDDDDDDD/>
    <EEEE/>
</AAA>

选择名字长度为3的元素://*[string-length(name()) = 3]

选择名字长度小于3的元素://*[string-length(name()) < 3]

选择名字长度大于3的元素://*[string-length(name()) > 3]

多个路径可以用分隔符|合并在一起

<AAA>
    <BBB/>
    <CCC/>
    <DDD>
        <CCC/>
    </DDD>
    <EEE/>
</AAA>

选择所有的CCC和BBB元素://CCC | //BBB

选择所有的BBB元素和所有的AAA的子元素的EEE元素:/AAA/EEE | //BBB

可以合并的路径数目没有限制

descendant(后代)轴包含上下文节点的后代,一个后代指子节点或者子节点的子节点等等,因此descendant轴不会包含属性和命名空间节点

选择文档根元素的所有后代,即所有的元素被选择:/descendant::*

选择/AAA/BBB的所有后代元素:/AAA/BBB/descendant::*

选择在祖先元素中有CCC的所有元素://CCC/descendant::*

选择所有以CCC为祖先元素的DDD元素://CCC/descendant::DDD

parent轴包含上下文节点的父节点,如果有父节点的话

选择DDD元素的所有父节点://DDD/parent::*

ancestor轴包含上下节点的祖先节点,该祖先节点由其上下文节点的父节点以及父节点的父节点等等诸如此类的节点构成,所以ancestor的轴总是包含有根节点,除非上下文节点就是根节点本身

选择一个绝对路径上的所有节点:/AAA/BBB/DDD/CCC/EEE/ancestor::*

xpath-ancestor1.png

选择FFF元素的祖先节点://FFF/ancestor::*

xpath-ancestor2.png

后面倒是还有一些,不过上面的足够用了

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,496评论 6 501
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,407评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 162,632评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,180评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,198评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,165评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,052评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,910评论 0 274
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,324评论 1 310
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,542评论 2 332
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,711评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,424评论 5 343
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,017评论 3 326
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,668评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,823评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,722评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,611评论 2 353

推荐阅读更多精彩内容

  • 1.绝对路径定位 以斜线 / 开头,/AAA/CCC/DDD; 2.相对路径 // 以双斜线 // 开头, //B...
    草中人阅读 415评论 0 0
  • MongoDB常用操作 一、查询 find方法 查询所有的结果: select * from users;===d...
    止风者阅读 603评论 1 3
  • 你的笑意绵延成糖 是毒是伤 我代你尝 我问你有何居心 草木自由生长 只有你 偏是我爱的模样
    妃卿阅读 180评论 2 4
  • 《从优秀到卓越》是美国作者吉姆柯林斯《基业长青》之后的又一力作。它描绘了优秀公司实现向卓越公司跨越的宏伟蓝图。在本...
    HiSwallow阅读 833评论 0 0