1121|itertools, HTMLParser

http://www.liaoxuefeng.com/wiki/0014316089557264a6b348958f449949df42a6d3a2e542c000/00143200162233153835cfdd1a541a18ddc15059e3ddeec000

使用HTMLParser 解析html

python里面的HTMLParser解析html,跟c++和其他语言的html库解析不同,是使用类继承的方式。

通过重实现HTMLParser类的几个函数,来达到解析html的目的。

主要的重载的函数有:

handle_starttag #开始标签的解析( <>)
handle_endtag #结束标签的解析(</>)
handle_data #标签内数据的解析

from html.parser import HTMLParser
 
class MyHTMLParser(HTMLParser):
    def handle_starttag(self, tag, attrs):
        print("Encountered a start tag:", tag)
    def handle_endtag(self, tag):
        print("Encountered an end tag :", tag)
    def handle_data(self, data):
        print("Encountered some data  :", data)
 
parser = MyHTMLParser()
parser.feed('<title>Test</title>'
            '<h1>Parse me!</h1>')

HTMLParser含有的方法分为两类,一类是需要显式调用的,而另一类不需显示调用.

不需显式调用的方法

下面的这些函数在解析的过程中会触发,但是默认情况下不会产生任何副作用,因而我们要根据自己的需求重载.

1.HTMLParser.handle_starttag(tag,attrs):
解析时遇到开始标签调用,如<p class='para'>,参数tag是标签名,这里是'p',attrs为标签所有属性(name,value)列表,这里是[('class','para')]

2.HTMLParser.handle_endtag(tag): 遇到结束标签时调用,tag是标签名
3.HTMLPars.handle_data(data): 遇到标签中间的内容时调用,如<style> p {color: blue; }</style>,参数data为开闭标签间的内容.值得注意的是在形如<div><p>...</p></div>的位置,并不会在div处调用,而是只在p处调用
当然还有其他函数,这里不做介绍

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容

  • # Python 资源大全中文版 我想很多程序员应该记得 GitHub 上有一个 Awesome - XXX 系列...
    aimaile阅读 26,717评论 6 427
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 135,559评论 19 139
  • 一、异同对比选择1、Python和ruby的相同点: * 都强调语法简单,都具有更一般的表达方式。python是缩...
    沃伦盖茨阅读 9,626评论 2 24
  • 在银行等待办理业务的过程中,在手机上看到一个简单的故事。 内容简单,过程大同小异。 就是讲一个姑娘在年少的时候喜欢...
    凌雪懿阅读 3,283评论 0 5
  • UITableViewCell的选中时的颜色设置 1.系统默认的颜色设置 2.自定义颜色和背景设置 改变UITab...
    转身一世琉璃白阅读 13,577评论 0 4