对于规则的网页信息我们可以使用的解析库和选择器很多比如bs4,xpath 等,这里我们介绍一种css选择器功能非常强大的库--pyquery

安装

pip3 install pyquery

使用

环境python3

初始化

# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq
html='''
<div class="qrcodeCon">
    <div id="qrcode">
        <div class="qrcode-item qrcode-item-1">
            <div class="qrcode-img"></div>
            <div class="qrcode-text">
                    <p><b>百度</b></p>
            </div>
        </div>
    </div>
</div>
'''

doc = pd(html) # 这里doc就是一个pyquery对象我们可以对其进行选择器操作,这就是初始化
print(doc('a'))  # 这里就可以对节点下所有的子孙节点的查找a标签

# 此外还支持url初始化,以及文件初始化
doc = pd(url = 'https://www.baidu.com')  # url初始化
print(doc('title'))

doc = pd(filename='test.html')  # 文件初始化
print(doc('title'))

基本选择器
还是以上面的文本内容为例:

from pyquery import PyQuery as pq
html = '''
<div class="qrcodeCon">
    <div id="qrcode">
        <div class="qrcode-item qrcode-item-1">
            <div class="qrcode-img"></div>
            <div class="qrcode-text">
                    <p><b>百度</b></p>
                    <a>hello world</a>
            </div>
        </div>
    </div>
</div>

'''
doc = pq(html)
print(doc('.qrcodeCon .qrcode-text').text())

从上面的例子中我们可以看到pyquery的css选择器的用法很简单,给pq对象传入一个查找参数就可以了, # 表示id, . 表示类 下一级就空格一下,这样就可以轻松的定位到我们需要的节点了.

查找节点
pyquery 查找子节点的时候可以使用上面我们说的方法也可以使用一下方法:

• 子节点
  查找子节点的时候,需要用到find()方法,此时传入的参数是css选择器,同样的以上面的文档为例,

# -*- coding: utf-8 -*-
from pyquery import PyQuery as pq
html = '''
<div class="qrcodeCon">
    <div id="qrcode">
        <div class="qrcode-item qrcode-item-1">
            <div class="qrcode-img"></div>
            <div class="qrcode-text">
                    <p><b>百度</b></p>
                    <a>hello world</a>
                    <a>hello world</a>
            </div>
        </div>
    </div>
</div>

'''
doc = pq(html)
first = doc('.qrcodeCon')
second = doc.find('.qrcode-text a')
third = doc('.qrcode-text a')
print(second)
print(third)

两个结果是一样的
<a>hello world</a>
<a>hello world</a>
<a>hello world</a>
<a>hello world</a>
另外find()所选的css选择器选择的是所有的子孙节点,如果我们只想找子节点那么可以使用 children() 方法来查找,使用方法和find()方法是一样的,对pyquery对象传入css选择句就可以得到我们想要的结果了.

• 父节点
  我们可以使用parent()的方法来获取某个节点的父节点,我们可以给其传入css查询语句来进行特定的查询.使用方法和children()方法一样,这里是该节点的直接父节点,不会再去查找该节点的祖先节点
• 祖先节点
  和父节点一样,我们使用parents()来实现祖先借点的查找,同样的我们可以往里面传入css选择器参数查找我们需要的祖先节点
• 兄弟节点
  使用siblings()方法来获取兄弟节点,同样的我们可以给它传入css选择参数来获取我们需要的节点
  遍历
  我们查到的对象不是想bs4那样返回一个列表,对于单个节点来说我们可以直接转成字符串使用str(doc('.li'))* 方法即可,对于多个节点,我们就需要使用遍历来获取内容了---.items() 方法
  对于我们选择的多个内容我们可以:

doc = pq('html')
list_cont = doc('li').items()  # 这里会得到一个生成器
for i in list_cont:
    print(i)

获取信息

• 获取属性
  直接调用.attr() 方法可以获取属性

doc.attr('href') # 类似这样的就可以获取他的herf属性了

我们也可以直接调用.attr属性来获取属性,例如

doc.attr.href

这两种方法获取到的内容是一样的
如果选中的是多个元素,我们调用attr()方法的时候就只会得到第一个节点的属性,这点可以自己去验证一下.当我们遇到这样的情况的时候就要使用遍历了也就是前面说的使用.items()来进行遍历操作.

• 获取文本
  调用.text()方法可以获取选中节点里的所有文本的内容,它会忽略掉节点内部包含的所有HTML,值返回纯文字.
  但是如果想获取节点内部的HTML文本就要使用html()方法了.
  对于 html()方法返回的是第一个节点内部的HTML文本,而text()则返回了所有的节点内部的纯文本. 中间用一个空格隔开,也就是说结果返回的是一个字符串
  这个地方需要注意的是,如果结果是多个节点,并且想要获取每个节点内部的HTMl文本呢,那么就需要遍历每个节点,或者是使用text()方法来直接组合成一个字符串来获取.
  节点操作
• addClass 和 removeClass 对class属性进行增减,具体是选中节点pyquery对象,然后进行修改

doc.removeClass('example') # 我们给这个节点移除了example类属性

doc.addClass('example') # 这里我们给这个节点增加了exmaple属性.

• addr text 和 html
  我们可以使用一下形式直接更改节点里面的内容:

html = '''
<ul class="list">
<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
</ul>
'''
from pyquery import PyQuery as pq
doc = pq(html)
li = doc('.item-0.active')
print(li)
li.attr('name','link')  # 这里可以直接给节点添加一个属性
print(li)
li.text('change the world')  # 这里直接更改了节点的内容
print(li)
li.html("<span>change item</span>") # 这里修改了节点了的HTML内容
print(li)

输出结果如下:

<li class="item-0 active"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-0 active" name="link"><a href="link3.html"><span class="bold">third item</span></a></li>
<li class="item-0 active" name="link">change the world</li>
<li class="item-0 active" name="link"><span>change item</span></li>

在我们调用了attr()方法之后,li节点多了一个name属性,值为link,然后使用text方法传入文本改变了内部的文本信息,最后调用了html()方法来改变了节点的html的值
所以,如果attr()方法只传入一个参数那么就是获取这个节点的属性值,如果传入第二个参数那么是可以修改这个参数的值的. 对于text()和html()方法,如果不传入参数就是获取内部的纯文本信息和HTML文本,如果传入参数就进行赋值修改

• remove
  可以直接操作节点进行移除操作

伪类选择器

伪类选择器功能很强大具体参看w3School来查看更多的详情,这里我直接搬运过来了.

到这里就结束了,这里只是简单的介绍,更详细的需要查看官方文档,下一篇我们来做一个简单的爬取淘宝商品的小项目.