是什么？

用于对html、xml进行解析并提取解析内容的相关工具。

语法

from bs4 import BeautifulSoup    #引用方式：从bs4库中引入了一个类型叫BeautifulSoup
soup = BeautifulSoup('<p>data</p>', 'html.parser')

也可直接引用bs4库

import bs4

第一行的BeautifulSoup是一个类，要用BeautifulSoup做一锅汤命名为soup。

两个参数：
①需要BeautofulSoup解析的一个html格式的信息
②解析这锅汤使用的解析器

基本元素

BeautifulSoup对应一个HTML/XML文档的全部内容。

任何存在于html语法的标签，都可以使用soup.tag方式获得
soup.tag默认获得第一个满足要求的标签

• Name实例

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(demo, "html.parser")
>>> soup.a.name #获得标签a的名字
'a'   
>>> soup.a.parent.name #获得标签a的父亲的名字（即包含a标签的上一层标签）
'p'
>>> soup.p.parent.name#获得标签p的父亲
'body'

如上：标签名字以字符串形式显示

• Attributes实例

由于标签的属性是字典形式，则可以采用字典的方式对每个信息做信息提取

>>> tag = soup.a
>>> tag.attrs
{'href': 'http://www.icourse163.org/course/BIT-268001', 'class': ['py1'], 'id': 'link1'}
>>> tag.attrs['class']  #获得class属性的值：是个列表，列表中第一个值为‘py1’
['py1']
>>> tag.attrs['href']  #获得a标签的链接属性（‘href’）
'http://www.icourse163.org/course/BIT-268001'
>>> type(tag.attrs)  #查看标签属性的类型
<class 'dict'>
>>> type(tag)  #查看标签类型具体怎么定义的
<class 'bs4.element.Tag'>
#在bs4中将标签定义了一个特殊的类型
>>> 

无论tag中有无属性都可以获得一个字典

• NavigableString实例

>>> soup.a
<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>
>>> soup.a.string
'Basic Python'
>>> soup.p
<p class="title"><b>The demo python introduces several python courses.</b></p>
>>> soup.p.string
'The demo python introduces several python courses.'
>>> type(soup.p.string)
<class 'bs4.element.NavigableString'>
>>> 

【注意】：soup.p 打印结果中在p标签中间还有b标签，但是soup.p.string返回结果中并无b标签。这说明NavigableString是可以跨越多个层次

• Comment实例
  炖了一锅新汤，b标签中给出了一个注释,p标签中并不是一个注释。
  而返回结果b标签与p标签均返回一段文本，但这个文本是注释形式时他并没有标明自己是注释，这就说明<!- ->被去掉了，所以在分析文档时需要对其中的注释部分做相应的判断，判断依据就是他的类型。

>>> newsoup = BeautifulSoup("<b><!--This is a comment--></b><p>This is not a comment</p>", "html.parser")
>>> newsoup.b.string
'This is a comment'
>>> type(newsoup.b.string)
<class 'bs4.element.Comment'>
>>> newsoup.p.string
'This is not a comment'
>>> type(newsoup.p.string)
<class 'bs4.element.NavigableString'>
>>> 

图片加深理解！！！

BeautifulSoup库理解

BeautifulSoup库解析器

bs4库的各种神仙方法

prettify()方法

为html文本的标签与内容增加换行符，也可以对每一个标签进行处理（可将内容清晰漂亮的打印出来）辅助作用强大。

find_all()方法

返回一个列表类型，存储查找的结果。

简写形式：
<tag>(..)等价于<tag>.find_all(..)
如： soup(..) 等价于 soup.find_all(..)

<>.find_all(name, attrs, rescursive, string, **kwargs)

name：对标签名称的检索字符串

#检索所有的a标签
>>> soup.find_all('a') 
[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

#检索所有的a标签和b标签（a，b标签以列表的形式传入）
>>> soup.find_all(['a','b']) 
[<b>The demo python introduces several python courses.</b>, <a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

#给出标签名称是True，则显示当前soup的所有标签信息
>>> for tag in soup.find_all(True):
    print(tag.name)
    
html
head
title
body
p
b
p
a
a
>>> 

#查找以b开头的所有标签，需要用到正则表达式
#正则表达式库所返回的结果是指以b开头的所有信息作为查找的要素
>>> import re
>>> for tag in soup.find_all(re.compile('b')):
    print(tag.name)
    
body
b
>>> 

attrs：对标签属性值的检索字符串，可标注属性检索。

#对属性赋值进行查找的时候，需要精确的赋值该信息
#若想查找包含xxx的信息，仍需要正则表达式的辅助
>>> soup.find_all(id = 'link')
[]
>>> soup.find_all(id = 'link1')
[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>]

#可以找到id以link开头，不一定与link完全一致的标签信息
>>> import re
>>> soup.find_all(id = re.compile('link'))
[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]

recursive：是否对子孙全部检索，默认为True
若只想搜索儿子节点层面上的信息，则可设置为False

>>> soup.find_all('a')
[<a class="py1" href="http://www.icourse163.org/course/BIT-268001" id="link1">Basic Python</a>, <a class="py2" href="http://www.icourse163.org/course/BIT-1001870001" id="link2">Advanced Python</a>]
>>> soup.find_all('a', recursive = False)
[]

string:<>..</>中字符串区域进行检索的字符串参数。
进行文本检索时使用正则表达式，结合find_all()函数可以在html、xml中轻松检索所需要的信息或所需要信息的相关区域（？？？区域这个咋搞）。

>>> soup.find_all(string = "Basic Python")
['Basic Python']
>>> soup.find_all(string = re.compile('python'))
['This is a python demo page', 'The demo python introduces several python courses.']
>>> 

find_all()的扩展方法们

扩展方法

bs4库的编码问题

bs4库将读入的html文件或字符串都转化成了UTF-8编码，可以很好的支持中文等第三方语言。

>>> soup = BeautifulSoup("<p>中文</p>"，"html.parser")
SyntaxError: invalid character in identifier
>>> soup = BeautifulSo up("<p>中文</p>","html.parser")
>>> soup.p.string
'中文'
>>> print(soup.p.prettify())
<p>
 中文
</p>
>>>