目录
1.爬虫简介
2.简单爬虫构架
3.URL管理器
4.网页下载器（urllib2）
5.网页解析器（Beautifulsoup）
6.完整实例，
爬取百度百科 python词条相关的1000个页面
爬虫简单的构架
-
爬虫调度端
- 爬虫
- URL管理器
- 网页下载器
- 网页解析器
- 爬虫
价值数据
- URL 管理
实现方式
- 内存 Pyton 内存:
- 待爬取URL集合：set()
- 已爬取URL集合, set()
- 关系数据库 MySQL
- 缓存数据库 redis
待爬取URL集合：set()
已爬取URL集合, set()
URL管理器：管理待抓取URL和已抓取URL集合
-
防止重复抓取，防止循环抓取
步骤：
1.添加新URL到待爬取集合中
2.判断待添加URL是否在容器中
3.判断是否还有待爬取URL
4.获取待爬取URL
5.将URL从待爬取 移动到已爬取
网络下载器：将网页下载到本地文件，或者下载到本地字符串
- urllib2: Python官方基础模块
- requests： 第三方包，更强大
urlib2下载网页的方法1：最简洁方法
下载网页，使用代码 urllib2.urlopen(url)可以下载网页
import urllib2
#直接请求
response1 = urllib2.urlopen('http://www.baidu.com')
#获取状态码，如果是 200表示获取成功
pint response.getcode()
#读取内容
cont = response.read()
下载网页方法2：
# urllib2 下载网页方法2：添加data. http header
urllib2.Request 接受参数 url, data, header
urllib2.urlopen(request)
#代码如下：
import urllib2
#创建Request对象
request = urllib2.Request(url)
#添加数据
request.add_data('a','1')
#添加http的header
request.add_header("User-Agent","Mozilla/5.0")
#请求 request 得到 response
response2 = urlib2.urlopen(request)
urllib2下载网页方法3：添加特殊情景处理器
HTTPCookieProcessor 需要用户登陆
ProxyHandler 需要代理
HTTPSHandler HTTPS协议
HTTPRedirectHandler 自动跳转
添加特殊情景步骤：
1.opener = urllib2.build_opener(handler) #添加特殊情景
2.urllib2.install_opener(opener)#安装特殊情景
3.urllib2.urlopen(url) 或者 urllib2.urlopen(request) #下载网页
import urllib2, cookielib
#创建cookie容器
cj = cookielib.CookieJar()
#创建1个opener
opener = urllib2.build_opener(urlib2.HTTPCookieProcessor(cj))
#给urllib2安装opener
urllib2.install_opener(opener)
# 使用带有cookie的urllib2访问网页
respinse = urllib2.urlopen("http://www.baidu.com/")
-
网页解析器
模糊匹配：
正则表达式-
结构化解析：
- html.parser python 标准库自带的网页解析
- Beaufiful Soup 第三方网页解析 （它可以使用 html.parser 和 lxml 做解析器）
- lxml 第三方网页解析， html 和 xml 解析
关于结构化解析：
结构化解析： DOM (Document Object Model) 树
python3.3 之后 urllib2要改为urllib.request
- 网页解析器：
- 模糊匹配：正则表达式
- 结构化解析： html.parser
Beautiful
lxml
结构化解析-DOM(Document Object Model) 树
网页解析器- Beautiful Soup 语法
对于拿到的 html 网页
|
v
创建 BeautifulSoup对象
|
v
搜索节点
find_all,find
|
v
访问节点
名称、属性。文字
解析过程：
`<a href='123.html' class = 'article_link'> Python </a>
节点名称：a
节点属性：href='123.html'
节点属性：class = 'article_link'
节点内容：Python
创建BeautifulSoup 对象
from bs4 import BeautifulSoup
# 根据HTML 网页字符串创建BeautifulSoup 对象
suop = BeautifulSoup(
html_doc, #HTML文档字符串
'html.parser', #HTML解析器
from_encoding='utf8' #HTML文档的编码
)
搜索节点(find_all,find)
#方法：find_all(name, attrs, string)
# 查找所有标签为 a的节点
soup.find_all('a')
#查找所有标签为a， 链接符合 /view/123.html 形式的节点
soup.find_all('a',href='/view/123.htm')
soup.find_all('a',href=re.compiler(r'/view/\d+\.htm'))
# 查找所有标签为 div, class 为 abc, 文字为 Python 的节点
soup.find_all('div', class_='abc', string = 'Python')
- 访问节点信息
# 得到节点: <a hre='1.html'>Python</a>
# 获取查找到的节点的标签名称
node.name
# 获取查找到的 a 节点的bref属性
node['href']
# 获取查找到的a的节点的链接文字
node.get_text()
- 网络解析器实例
from bs4 import BeautifulSoup
import re
html_doc = """
<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http://example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>
"""
print(html_doc)
soup = BeautifulSoup(html_doc, 'html.parser')
print('获取所有的链接')
links = soup.find_all('a')
for link in links:
print(link.name, link['href'], link.get_text())
print('获取lacie的链接')
link_node = soup.find('a',href='http://example.com/lacie')
print(link_node.name, link_node['href'],link_node.get_text())
print('正则匹配')
link_node = soup.find('a',href=re.compile(r'ill'))
print(link_node.name, link_node['href'],link_node.get_text())
print('获取p段落文字')
p_node = soup.find('p',class_ = 'title')
print(p_node.name, p_node.get_text())
