-
和 lxml 一样，Beautiful Soup 也是一个HTML/XML的解析器，主要的功能也是如何解析和提取 HTML/XML 数据。
”””
lxml 只会局部遍历，而Beautiful Soup 是基于HTML DOM的，会载入整个文档，解析整个 DOM树，因此时间和内存开销都会大很多，所以性能要低于lxml。 BeautifulSoup 用来解析 HTML 比较简单，API非常人性化，支持CSS选择器、Python标准库中的HTML解析器，也支 持 lxml 的 XML解析器。 Beautiful Soup 3 目前已经停止开发，推荐现在的项目使用Beautiful Soup 4。官方文档：http://beautifulsoup.readthedocs.io/zh_CN/v4.4.0
”””
对比图 安装
pip install -i https://pypi.tuna.tsinghua.edu.cn/sim
ple/ beautifulsoup4
- 解析库的选用
# 使用python的内置标准库解析，无需要安装外部扩展，速度适中，文档容错能力强
soup = BeautifulSoup("<p>hello</p>","html.parser")
# 使用lxml库进行解析，执行速度快，文档容错能力强，需要安装外部扩展
soup = BeautifulSoup("<p>hello</p>","lxml")
#以浏览器的方式解析文档，生成HTML5格式的文档，速度慢，需要安装外部扩展
soup = BeautifulSoup("<p>hello</p>","html5lib")
# 支持解析xml，速度快，需要安装外部扩展
soup = BeautifulSoup("<p>hello</p>","xml")
- 使用，当我们创建BeautifulSoup()对象后，可以用属性来获取节点
html = """
<html>
<head>
<title>文档标题</title>
</head>
<body>
<p class="story">
从前，有座山，山上有个
<a href="http://www.baidu.com?wd=庙"><span>庙</span></a>,
庙里有个
<a href="http://www.baidu.com?wd=和尚"><span>和尚</span></a>，
<a href="http://www.baidu.com?wd=老和尚">老和尚</a>
给小和尚讲故事。
</p>
<p class="story">
省略.....
</p>
"""
#获取标签的html文档 .tag_name
# 打印title标签的html文档
print(soup.title)
# [out]:<title>文档标题</title>
# 获取属性值，字典类型
print(soup.p.attrs)
print(soup.p.attrs['name'])
# 获取标签元素里的文本，.string属性
# 打印出title标签的文本
print(soup.title.string)
# 嵌套选择
print(soup.head.title)
# 关联选择,获取p标签内嵌的所有内容
print(soup.p.contents)
- find_all(name,attrs,text,**kwargs,recusive) 返回列表
def build():
html = '''
<div class="panel">
<div class="panel-heading">
<h4>hello world</h4>
</div>
<div class="panel-body">
<ul class="list" id="list" name="elements">
<li class="element">1111</li>
<li class="element">2222</li>
<li class="element">3333</li>
<li class="element">4444</li>
</ul>
<ul class="list list-small" id="list2">
<li class="element">1111</li>
<li class="element">2222</li>
</ul>
</div>
</div>
'''
soup = BeautifulSoup(html,'lxml')
return soup
import re
# find_all(name,attrs,text,**kwargs,recusive) 返回列表
def test_find_all():
soup = build()
# 通过name查找
print(soup.find_all(name='ul'))
print(soup.find_all(name='ul')[0].find_all(name='li'))
# 通过属性查找
print(soup.find_all(attrs={'id':'list','name':'elements'}))
print(soup.find_all(class_='list'))
print('----------------------------')
# 通过选择器查找
print(soup.select('.panel-body li'))
# 通过文本查找节点
print(soup.find_all(text=re.compile('^1+')))
# find()返回的是单个元素，第一个匹配的元素
# find_parents()|find_parent()
# find_all_next() \ find_next():返回节点后所有符合条件的节点
test_find_all()
