一名优秀的程序员如何通过正则表达式来提升自己的工作能力,从而加薪升职!

在博客上看到一篇正则表达式的,感觉对于刚接触python的小伙伴挺有收益的,但是请喷子绕道。不是每篇文章都能获得大家的赞同赞赏。你要看我很欢迎,不看我也不奢求,所以请各位喷子绕道,谢谢,相当于喷子我更喜欢伸手党。好了bb了这么多。在分享之前,我给大家推荐我的一个java高级开发群:283904828 群里有资料免费领群,也有大牛热心解答。也经常提供一些比较好的文章,给大家找好方向,欢迎初学者和进阶者还有大牛者进群,加入这个大家庭!

好了,接下来就是给大家分享了,

实际上爬虫一共就四个主要步骤:

1.明确目标:需清楚目标网站

2.爬:将所有的目标网站的内容全部爬下来

3.取:在爬下来的网站内容中去掉对我们没有用处的数据,只留取我们需要的数据

4.处理数据:按照我们想要的方式存储和使用留取的数据

我们在前面的案例里实际上都省略了第3步,也就是“取”的步骤。因为我们down下了的数据是全部的网页,这些数据很庞大并且很混乱,其中大部分的东西是我们不关心的,因此我们需要将之按我们的需要过滤和匹配出来。那么对于文本的过滤和者规则的匹配,最强大的就是正则表达式了。那么什么是正则表达式:



.  正则表达式,又称规则表达式,通常被用来检索、替换那些符合某个规则的文本。

.  正则表达式是对字符串操作的一种逻辑公式,就是用事先定义好的一些特定字符及这些特定字符的组合,组成一个“规则字符串”,这个“规则字符串”用来表达对字符串的一种过滤逻辑。

给定一个正则表达式和另一个字符串,我们可以达到如下的目的:

给定的字符串是否符合正则表达式的过滤逻辑(“匹配”)

通过正则表达式,从文本字符串中获取我们想要的特定部分(“过滤”)

正则表达式规则

Python的re模块

在Python中,我们可以使用内置的re模块来使用正则表达式。

有一点需要特别注意的是,正则表达式使用对特殊字符进行黑底,所以如果我们要使用原始字符串,只需要加一个r前缀:r'i love\t\.\tpython'

re模块的一般使用步骤如下:

     1.使用compile()函数将正则表达式的字符串形式编译为一个Pattern对象

     2.通过Pattern对象提供的一系列方法对文本进行匹配查找,获得匹配结果,一个Match对象。

     3.最后使用Match对象提供的属性和方法获得信息,根据需要进行其他操作。

compile函数

compile函数用于编译正则表达式,生成一个Pattern对象,它的一般使用形式如下:

在上面,我们已将一个正则表达式编译成Pattern对象,接下来,我们就可以利用pattern的一系列方法对文本匹配查找了。

Pattern对象的一些常用方法主要有:

match()方法:从起始位置开始查找,一次匹配

search()方法:从任何位置开始查找,一次匹配

findall()方法:全部匹配,返回列表

finditer()方法:全部匹配,返回迭代器

split()方法:分割字符串,返回列表

sub()方法:替换

match()方法

match()方法用于查找字符串的头部(也可以指定起始位置),它是一次匹配,只要找到了一个匹配的结果就返回,而不是查找所有匹配的结果。它的一般使用形式如下:

match(string[, pos[, endpos]])

其中,string是待匹配的字符串,pos和endpos是可选参数,指定字符串的起始和终点位置,默认值分别是0和len(string)。因此,当你不指定pos和endpos时,match()方法默认匹配字符串的头部。

当匹配成功时,返回一个Match对象,如果没有匹配上,则返回None。

在上面,当匹配成功时返回一个Match对象,其中:

group([group1,...])方法用于获得一个或多个分组匹配的字符串,当要获得整个匹配的子串时,可直接使用group()或group(0)

start([group])方法用于获取分组匹配的子串在整个字符串中的起始位置(子串第一个字符的索引),参数默认值为0

end([group])方法用于获取分组匹配的子串在整个字符串中的结束位置(子串最后一个字符的索引 + 1),参数默认值为0

span([group])方法返回(start(group), end(group))

再看一个例子:

search()方法

search()方法用于查找字符串的任何位置,它也是一次匹配,只要找到了一个匹配的结果就返回,而不是查找所有匹配的结果,它的一般使用形式如下:

search(string[, pos[, endpos]])

其中,string是待匹配的字符串,pos和endpos是可选参数,指定字符串的起始和终点位置,默认值分别是0和len(string)。

当匹配成功时,返回一个Match对象,如果没有匹配上,则返回None。

如下例子:

再看一个例子:

执行结果:

findall()方法

上面的match()和search()方法都是一次匹配,只要找到了一个匹配的结果就返回。然而,在大多数时候,我们需要搜索整个字符串,获得所有匹配的结果。

findall()方法的使用形式如下:

findall(string[, pos[, endpos]])

其中,string是待匹配的字符串,pos和endpos是可选参数,指定字符串的起始和终点位置,默认值分别是0和len(string)。

findall()以列表形式返回全部能匹配的子串,如果没有匹配成功,则返回一个空列表。

如下:

再看一个例子:

finditer()方法

finditer()方法的行为跟findall()的行为类似,也是搜索整个字符串,获得所有匹配的结果。但它返回一个顺序访问每一个匹配结果(Match对象)的迭代器。

如下:

执行结果:

split()方法

spilt()方法按照能够匹配的子串将字符串分割后返回列表,它的使用形式如下:

split(string[, maxsplit])

其中,maxsplit用于指定最大分割次数,不指定将全部分割。

如下:

sub()方法

sub()方法用于替换。它的使用形式如下:

sub(repl, string[, count])

其中,repl可以是字符串也可以是一个函数:

如果repl是字符串,则会使用repl去替换字符串每一个匹配的子串,并返回替换后的字符串,另外,repl还可以使用id的形式来引用分组,但不能使用编号0

如果repl是函数,这个方法应当只接受一个参数(Match对象),并返回一个字符串用于替换(返回的字符串中不能再引用分组)

count用于指定最多替换次数,默认全部替换

如下:

执行结果:

匹配中文

在某些情况下,我们想匹配文本中的汉字,中文的unicode编码范围主要在[u4e00-u9fa5],这里说主要是因为这个范围并不完整,比如没有包括全角(中文)标点,不过,在大部分情况下,应该是够用的。

例如:要想把字符串s = "您好,世界。hello world!"中的中文提取出来,可以这么做

输出结果

1. 世界你好

一件平凡的事,当你做了一万遍,就会变得伟大!!!

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,837评论 6 496
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,551评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,417评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,448评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,524评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,554评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,569评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,316评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,766评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,077评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,240评论 1 343
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,912评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,560评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,176评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,425评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,114评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,114评论 2 352

推荐阅读更多精彩内容

  • re模块手册 本模块提供了和Perl里的正则表达式类似的功能,不关是正则表达式本身还是被搜索的字符串,都可以...
    喜欢吃栗子阅读 4,000评论 0 13
  • 初衷:看了很多视频、文章,最后却通通忘记了,别人的知识依旧是别人的,自己却什么都没获得。此系列文章旨在加深自己的印...
    DCbryant阅读 3,999评论 0 20
  • 转自: JS正则表达式一条龙讲解,从原理和语法到JS正则、ES6正则扩展,最后再到正则实践思路 温馨提示:文章很长...
    前端渣渣阅读 1,808评论 1 32
  • 如果一件事,当你不做便如身未定、便觉心难安,愧疚与难过像无边的水汽一点点漫过自己,纵然深夜将至,一日告罄,仍仿佛被...
    周简生阅读 299评论 0 0
  • 以前老家的邻居,也是家门侄媳妇,打来电话。说她带着孩子在看守所,给老公送衣服呢。看守所离在县城东,离我家...
    打灯笼的小星星阅读 509评论 3 1