爬虫基础系列BeautifulSoup(1)

8586231_192932724000_2.jpg

beautifulsoup模块简介

  • 相比于xpath表达式,BeautifulSoup较有难度,同样的它的一些用法更为方便,所以是与爬虫解析基础的正则表达式、xpath相互配合使用的。
  • 和lxml 一样,BeautifulSoup 也是一个HTML/XML的解析器。
  • 主要的功能也是如何解析和提取 HTML/XML 数据。

模块下载方法

  • pip install bs4

基础用法

__author__ = 'Administrator'
from bs4 import BeautifulSoup
html = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title" name="dromouse"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1"><!-- Elsie --></a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
#解析字符串形式的html
soup=BeautifulSoup(html,'lxml')
#格式化输出soup对象
print(soup.prettify())#prettify方法将html文档以标准的(漂亮的)方式输出。

#解析本地的html
# soup1=BeautifulSoup(open('index.html'))
# print(soup1)
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

  • 人生苦短,我用Python。 起初,这篇文章是打算来写 XPath 的,可是后来一想,我需要的仅是 XPath 的...
    Moscow1147阅读 21,136评论 1 14
  • 上网原理 1、爬虫概念 爬虫是什麽? 蜘蛛,蛆,代码中,就是写了一段代码,代码的功能从互联网中提取数据 互联网: ...
    riverstation阅读 8,772评论 1 2
  • “回来结婚吧!” 收到这个信息的时候他们已经分开三年了,此时一个在四季如春的昆明,另一个在四季如夏的海南。 有人说...
    缦华缨阅读 224评论 3 0
  • 本节描述如何在控制节点上安装和配置镜像服务,代号为 glance。为简单起见,该配置将映像存储在本地文件系统上。 ...
    坚果的野望阅读 233评论 0 0
  • 今天早上是被疼醒的。喉咙撕裂一样的疼,像岩浆流过后还没熄灭的火,有一下没一下地烫着。嘴巴就想着,要用水去熄灭它,就...
    贝龙阅读 424评论 9 2

友情链接更多精彩内容