BeautifulSoup还支持的功能包括:
参考资料:https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/#id47
- 修改文档树
- 输出格式
- 指定文档解析器
- 编码
- 解析部分文档
1、修改文档树
目前,对文档的修改应该不常用,若需用到,再查阅官方文档。
2、输出格式
支持的输出格式包括:
- 格式化输出:prettify() 方法将Beautiful Soup的文档树格式化后以Unicode编码输出,每个XML/HTML标签都独占一行
title = bsobj.prettify()
print(title)
# BeautifulSoup 对象和它的tag节点都可以调用 prettify() 方法
tag_s = bsobj.li.a.prettify()
print(tag_s)
压缩输出:如果只想得到结果字符串,不重视格式,那么可以对一个 BeautifulSoup 对象或 Tag 对象使用Python的 unicode() 或 str() 方法
输出格式:Beautiful Soup输出是会将HTML中的特殊字符转换成Unicode
获取tag中的文本信息,采用get_text():get_text()中可以指定分隔符并去除文本前后的空格。
tag_s = bsobj.get_text('!', strip=True)
print(tag_s)
3、指定文档解析器
BeautifulSoup支持不同的文档解析器,在未指定解析器的情况下,Beautiful Soup会自动选择一个解析器来解析文档。
- 指定文档解析器是在创建Beautiful Soup对象的时候指定:
bsobj = BeautifulSoup(codecs.open('index.html', 'r', 'utf-8'), 'html.parser')
- 不同的文档类型支持的文档解析器是不同的
4、编码
-
创建Beautiful Soup对象的时候可以指定编码格式:
image.png 查看原始编码格式:
bsobj.original_encoding
指定文档或标签的输出格式编码:
bsobj.encode('utf-8)
或者bsobj.title.encode('utf-8')
5、解析部分文档
如果仅仅因为想要查找文档中的<a>标签而将整片文档进行解析,实在是浪费内存和时间.最快的方法是从一开始就把<a>标签以外的东西都忽略掉。
- 采用SoupStrainer类定义文档的某段结构,这样搜索文档时就不必先解析整篇文档,只会解析在SoupStrainer中定义过的文档. 创建一个 SoupStrainer 对象并作为 parse_only 参数给 BeautifulSoup 的构造方法即可.
from bs4 import SoupStrainer, BeautifulSoup
only_a_tags = SoupStrainer("a")
only_tags_with_id_link2 = SoupStrainer(id="link2")
def is_short_string(string):
return len(string) < 10
only_short_strings = SoupStrainer(text=is_short_string)
bsobj_1 = BeautifulSoup(codecs.open('index.html', 'r', 'utf-8'), parse_only=only_a_tags)
print(bsobj_1)
总结
- 粗略看一遍Beautiful Soup的官方文档下来,基本能理解这个库的方法和使用过程
- 接下来,就是多练习了