爬虫学习记录4-BeautifulSoup解析html语句,检索

在beautifulsoup中我们可以通过检索其标签名称得到对应的内容,也可以通过直接检索关键字得到内容,下面将进行实例:

import requests

from bs4 import BeautifulSoup

r=requests.get("https://www.baidu.com")

soup=BeautifulSoup(r.text,'html.parser')

1.find_all()

若要查找返回获取的网页结果中的所有a标签内容,则可以通过soup.find_all('a')得到所有的a标签内容。也可以获得多种标签的查找结果:soup.find_all(['a','b'])


也可以通过如图所示,打印出结果中的所有标签。另外在这个过程中我们也可以结合正则表达式来完成一定规则要求的查找。


正则表达式结合


查找标签中是否有对应的属性


精确查找

拓展方法:

拓展方法

因为find_all()函数在BeautifulSoup中太过常用,所以也设定了专门的简写

tag.fina_all()=tag(),soup.find_all()=soup()

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容