通过HTMLPaser和urlib模块对网页进行抓取并分析
实现步骤：
1、自定义MYHTMLParser类
2、实例化类并访问天气预报官网
3、抓取关键数据
4、对数据进行切片处理并输出字典
from html.parser import HTMLPaser #处理页面模块
from urllib import request #访问网站模块
L = [] #定义列表接受抓取的信息
class MYHTMLPaser(HTMLParser): #自定义MYHTMLParser类重写方法
#定义三个函数
#handle_starttag:处理开始标签 attrs:标签属性 tag:标签
a_t = False #定义a_t变量为提出标签内容时的判断做准备
def handle_starttag(self,tag,attrs):
if tag == "h1" and len(attrs) == 0: #找出不带属性的h1标签
self.a_t = True
else tag == "p" and len(attrs) > 1: #找出属性大于1的p标签
self.a_t = True
#handle_data:处理标签内容 data:标签内容
def handle_data(self,data):
if self.a_t ==True: #取出h1标签p标签的内容并添加到L列表中
L.append(data)
#handle_endtag:处理结束标签
def handle_endtag(self,tag):
self.a_t = False #一个标签读取完成后恢复a_t变量为下一个标签的读取判断做准备
#自定义类实例化
p = MYHTMLParser()
#访问天气预报官网
with request.urlopen("http://www.weather.com.cn/weather/101010100.shtml") as f:
data = f.read().decode('utf-8') #读取网页数据
#解析网页信息查找未来七天的天气情况并输出到列表中
p.feed(str(data))
p.close() #关闭资源
#对列表进行操作输出字典
L1 = list(list(L)[2:-6])[1:][::2]
L2 = list(list(L)[2:-6])[::2]
weather = dict(zip(L2,L1))
#输出天气
print（weather）
输出结果如下图：
源码如下：
# 本模块对一周天气情况进行爬虫
fromhtml.parserimportHTMLParser
fromurllibimportrequest
importre
# 自定义MYHTMLParser类
L = []
classMYHTMLParser(HTMLParser):
a_t =False
def handle_starttag(self,tag,attrs):
if tag =="h1"andlen(attrs) ==0:
self.a_t =True
elif tag =="p"andlen(attrs) >1:
self.a_t =True
def handle_data(self,data):
ifself.a_t ==True:
L.append(data)
def handle_endtag(self,tag):
self.a_t =False
# 自自定义类实例化
p = MYHTMLParser()
# 访问天气预报官网
withrequest.urlopen("http://www.weather.com.cn/weather/101010100.shtml")asf:
data = f.read().decode('utf-8')
# 解析网页输出关键信息
p.feed(str(data))
p.close()
# 转成字典
L1 =list(list(L)[2:-6])[1:][::2]
L2 =list(list(L)[2:-6])[::2]
weather =dict(zip(L2,L1))
print(weather)
