1.不用正则表达式来查找文本模式
假设你希望在字符串中查找电话号码, 你知道模式:3个数字,一个短横线,3个数字,一个短横线,
再是4个数字。例如:415-555-4242
编写一个函数,来检查字符串是否匹配模式,返回Ture或者是False
def isPhoneNumber(text):
if len(text) != 12:
return False
for i in range(0, 3):
if not text[i].isdecimal():
return False
if text[3] != '-':
return False
for i in range(4, 7):
if not text[i].isdecimal():
return False
if text[7] != '-':
return False
for i in range(8, 12):
if not text[i].isdecimal():
return False
return True
print('415-555-4242 is a phone number')
print(isPhoneNumber('415-555-4242'))
print('Moshi moshi is a phone number')
print(isPhoneNumber('Moshi'))
415-555-4242 is a phone number
True
Moshi moshi is a phone number
False
2.用正则表达式查找文本表达式
2.1 创建正则表达式对象
import re
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d') #也可以写成 \d{3}-\d{3}-\d{4}
向re.compile()传入一个字符串值, 表示正则表达式, 它将返回一个Regex对象。
2.2匹配Regex对象
Regex对象的search()方法查找传入的字符串, 寻找该正则表达式的所有匹配,如果字符串中没有找到正则表达式
模式, search()方法返回None,如果找到了该模式, search()方法将返回一个Match对象。Match对象有一个
group()方法,它返回被查找字符串实际匹配的文本。
import re
phoneNumRegex = re.compile(r'\d{3}-\d{3}-\d{4}')
mo = phoneNumRegex.search('My number is 415-555-4242')
print('Phone number found: ' + mo.group())
Phone number found: 415-555-4242
向re.compile()传入原始字符串:字符串‘\n’表示一个换行符,而不是一个反斜杠加上一一个小写的n。你需要输入
转义字符\\,才能打印出一个反斜杠,但是通过在字符串的第一个引号之前加上一个小写的r,就可以将该字符串标
记为原始字符串, 它不包含转义字符。
2.3 正则表达式匹配过程
1.用re.compile导入正则表达式模块。
2.用re.compile()函数创建一个Regex对象(记得使用原始字符串)
3.想Regex对象的search()方法传入想要查找的字符串, 它返回一个Match对象。
4.调用Match对象的group()方法,返回实际匹配文本的字符串。
3 用正则表达式匹配更多模式
3.1 利用括号分组
假设要将区号从电话号码中分离,添加括号将在正则表达式中创建“分组”:(\d\d\d)-(\d\d\d-\d\d\d\d).然后可以使
用group()匹配对象方法, 从一个分组中获取匹配的文本。
正则表达式字符串中的第一个括号是第1组,第二组括号是第2组, 想group()匹配对象方法传入整数1或2。向
gruop()匹配对象方法传入整数1或2, 就可以取得匹配文本的不同部分,向group()方法传入0或者不传参数, 将
返回整个匹配文本。
import re
phoneNumRegex = re.compile(r'(\d\d\d)-(\d\d\d-\d\d\d\d)')
mo = phoneNumRegex.search('My number is 415-555-4242')
print(mo.group(1))
print(mo.group(2))
print(mo.group(0))
print(mo.group())
415
555-4242
415-555-4242
415-555-4242
如果想要一次性就获取所有的分组, 使用groups().
import re
phoneNumRegex = re.compile(r'(\d\d\d)-(\d\d\d-\d\d\d\d)')
mo = phoneNumRegex.search('My number is 415-555-4242')
mo.groups()
('415', '555-4242')
areaCode, mainNumber = mo.groups()
print(areaCode)
print(mainNumber)
415
555-4242
3.2 用管道匹配多个分组
字符“|”称为“管道”。希望匹配许多表达式中的一个时, 就可以使用它。例如:正则表达式r'Batman|Tina Fey'将匹配
'Batman'或'Tina Fey'。如果Batman和Tina Fey都出现在被查找的字符串中, 第一次匹配出现的匹配文本,将作为
Match对象返回。
import re
heroRegex = re.compile(r'Batman|Tina Fey')
mo1 = heroRegex.search('Batman and Tina Fey.')
mo1.group()
'Batman'
mo2 = heroRegex.search('Tina Fey|Batman.')
mo2.group()
'Tina Fey'
也可以用管道来匹配多个模式中的一个, 作为正则表达式的一部分, 例如, 假设你希望匹配'Batman', 'Batmobile',
'Batcopter'和'Batbat'中的任意一个。因为所有这些字符都以Bat开始, 所以如果能够只指定一次前缀,就很方便。
batRegex = re.compile(r'Bat(man|mobile|copter|bat)')
mo = batRegex.search('Batmobile lost a wheel.')
mo.group()
'Batmobile'
mo.group(1)
'mobile'
方法调用mo.group()返回了完全匹配的文本‘Batmobile’,而mo.group(1)只是返回第一个括号分组内匹配的文本
'mobile'。通过使用管道字符和分组括号, 可以指定几种可选的模式, 让正则表达式去匹配。如果需要匹配真正的
管道字符,就用转义字符,即\|
3.3 用问号实现可选匹配
有时候,想匹配的模式是可选的, 就是说, 不论这段文本在不在, 正则表达式都会认为匹配。字符?表明它前面的分组在这个模式中是可选的。
batRegex = re.compile(r'Bat(wo)?man')
mo1 = batRegex.search('The Adventures of Batman')
mo1.group()
'Batman'
mo2 = batRegex.search('The Adventures of Batwoman')
mo2.group()
'Batwoman'
正则表达式中的(wo)?部分声明,模式wo是可选的分组, 该正则表达式匹配的文本中, wo将出现零次或一次,
这就是为什么正则表达式既匹配‘Batman’又匹配'Batwoman'。利用前面电话号码的例子,可以让正则表达式寻找
包含区号或不包含区号的电话号码。
import re
phoneRegex = re.compile(r'(\d\d\d-)?\d\d\d-\d\d\d\d')
mo1 = phoneRegex.search('My number is 412-555-4242')
mo1.group()
'412-555-4242'
mo2 = phoneRegex.search('My number is 555-4242')
mo2.group()
'555-4242'
你可以认为?是在说“匹配这个问号之前的分组零次或一次”。
如果需要匹配真正的问号字符, 就是用在转义字符\?
3.4 用星号匹配零次或多次
“*”意味着“匹配零次或多次”, 即星号之前的分组, 可以在文本中出现任意次数。它可以完全不存在,或一次又一次
的重复。
batRegex = re.compile(r'Bat(wo)*man')
mo1 = batRegex.search('The Adventures of Batman')
mo1.group()
'Batman'
mo2 = batRegex.search('The Adventures of Batwoman')
mo2.group()
'Batwoman'
mo3 = batRegex.search('The Adventures of Batwowowowoman')
mo3.group()
'Batwowowowoman'
对于‘Batman’,正则表达式的(wo)*部分匹配wo的零个实例, 对于‘Batwoman’,(wo)*匹配wo的一个实例,
对于‘Batwowowowoman’,(wo)*匹配wo的4个实例。
如果需要匹配真正的星号字符,用转义字符\*
3.5 用加号匹配一次或多次
+号意味着“匹配一次或多次”。星号不要求分组出现在匹配的字符串中, 但加好不同, 加号前面的分组必须“至少
出现一次”。这不是可选的。
batRegex = re.compile(r'Bat(wo)+man')
mo1 = batRegex.search('The Adventures of Batwoman')
mo1.group()
'Batwoman'
mo2 = batRegex.search('The Adventures of Batwowowoman')
mo2.group()
'Batwowowoman'
mo3 = batRegex.search('The Adventures of Batman')
mo3 == None
True
正则表达式Bat(wo)+man不会匹配字符串‘The Adventures of Batman’,因为加号要求wo至少出现一次。
如果需要匹配真正的加号字符,英转义字符\+
3.6 用花括号匹配特定次数
如果想要一个分组重复特定的次数, 就在正则表达式中该分组的后面,更上花括号包围的数字。例如:正则表达式
(Ha){3}将匹配字符串‘HaHaHa’, 但不会匹配‘HaHa’, 因为后者只重复了(Ha)分组两次。
除了一个数字, 还可以指定一个范围, 即在花括号中写下一个最小值、一个逗号和一个最大值。例如:正则表达
式(Ha){3,5}将匹配‘HaHaHa’、'HaHaHaHa'和'HaHaHaHaHa'.
也可以不写花括号中的第一个或第二个数字, 不限定最小值和最大值。例如:(Ha){3,}将匹配3次或更多次实例,
(Ha){,5}将匹配0到5次实例。花括号可以让正则表达式更简短。
(Ha){3}
(Ha)(Ha)(Ha)
这两个正则表达式匹配相同的模式。
(Ha){3,5}
(Ha)(Ha)(Ha)|(Ha)(Ha)(Ha)(Ha)|(Ha)(Ha)(Ha)(Ha)(Ha)
这两个正则表达式也匹配相同的模式。
4.贪心与非贪心匹配
在字符串'HaHaHaHa'中, 因为(Ha){3,5}可以匹配3个、4个或5个实例, 你可能会想, 为什么在前面花括号的例子
中,Match对象的group()调用会返回‘HaHaHaHaHa’,而不是更短的结果,毕竟‘HaHaHa’和‘HaHaHaHa’也能够有效
匹配。
Python的正则表达式默认是“贪心的”,这表示在有二义性的情况下, 它们会尽可能匹配最长的字符串。花括号的
“非贪心”版本匹配尽可能最短的字符串, 即在花括号后跟一个问号。
greedyHaRegex = re.compile(r'(Ha){3,5}')
mo1 = greedyHaRegex.search('HaHaHaHaHa')
mo1.group()
'HaHaHaHaHa'
nongreedyHaRegex = re.compile(r'(Ha){3,5}?')
mo2 = nongreedyHaRegex.search('HaHaHaHaHa')
mo2.group()
'HaHaHa'
请注意:问号在正则表达式中可能有两种含义:声明非贪心匹配或表示可选的分组。这两种含义是完全无关的。
5.findall()方法
除了search()方法外,Regex对象也有一个findall()方法。search()返回一个Match对象, 包含被查找字符串中的“第
一次”匹配的文本,而findall()方法将返回一组字符串, 包含被查找字符串中的所有匹配。
import re
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d')
mo = phoneNumRegex.search('Cell: 425-555-9999 Work: 212-555-0000')
mo.group()
'425-555-9999'
由此可见, search()返回的Match对象只包含第一次出现的匹配文本。
另一方面, findall()不是返回一个Match对象, 而是返回一个字符串列表, 只要在正则表达式中没有分组, 列表中
的每个字符串都是一段被查找的文本,它匹配该正则表达式。
phoneNumRegex = re.compile(r'\d\d\d-\d\d\d-\d\d\d\d') # has no groups
phoneNumRegex.findall('Cell: 425-555-9999 Work: 212-555-0000')
['425-555-9999', '212-555-0000']
phoneNumRegex = re.compile(r'(\d\d\d)-(\d\d\d)-(\d\d\d\d)') # has groups
phoneNumRegex.findall('Cell: 425-555-9999 Work: 212-555-0000')
[('425', '555', '9999'), ('212', '555', '0000')]
作为findall()方法的返回结果的总结:
1.如果调用在一个没有分组的正则表达式上, 方法findall()将返回一个匹配字符串的列表。
2.如果调用在一个有分组的正则表达式上, 方法findall()将返回一个匹配字符串的元组列表(每个分组对应一个字符串)。
6.字符分类
image.png
image.png
字符分类对于缩短正则表达式很有用, 字符分类[0-5]只匹配数字0到5, 这比输入(0|1|2|3|4|5)要短很
xmasRegex = re.compile(r'\d+\s\w+')
xmasRegex.findall('12 drummers, 11 pipers, 10 lords, 9 ladies, 8 maids, 7 swans, 6 geese, 5 rings, 4 birds, 3 hens, 2 doves, 1 partridge')
['12 drummers',
'11 pipers',
'10 lords',
'9 ladies',
'8 maids',
'7 swans',
'6 geese',
'5 rings',
'4 birds',
'3 hens',
'2 doves',
'1 partridge']
7.建立自己的字符分类
有时候你想匹配一组字符, 但缩写的字符分类(\d, \w, \s)太宽泛,你可以用方括号定义自己的字符分类,例如:
[aeiouAEIOU]将匹配所有元音字符,不论大小。
import re
vowelRegex = re.compile(r'[aeiouAEIOU]')
vowelRegex.findall('RoboCop eats baby food. BABY FOOD.')
['o', 'o', 'o', 'e', 'a', 'a', 'o', 'o', 'A', 'O', 'O']
也可以使用短横线表示字母或数字的范围, 例如:[a-zA-Z0-9]将匹配所有小写字母、大写字母和数字
请注意, 在方括号内, 普通的正则表达式符号不会被解释, 这意味着, 你不需要前面加上倒斜杠转义,例如:
字符分类将匹配数字0到5和一个句点,你不需要写成[0-5\.]
通过在字符分类的左方括号后加上一个插入字符(^),就可以得到非字符类。非字符类将匹配不在这个字符类
中的所有字符。
vowelRegex = re.compile(r'[^aeiouAEIOU]')
vowelRegex.findall('RoboCop eats baby food. BABY FOOD.')
['R','b','C','p',' ','t', 's',' ','b', 'b', 'y', ' ', 'f', 'd', '.', ' ', 'B', 'B', 'Y', ' ', 'F', 'D', '.']
8.插入字符和美元字符
可以在正则表达式的开始处使用插入符号^, 表明匹配必须发生在被查找文本开始处, 类似的,可以在正则表达式
的末尾加上美元符号$, 表示该字符串必须以这个正则表达式的模式结束。可以同时使用^和$, 表明整个字符串必
须匹配该模式, 也就是说, 只匹配该字符串的某个子集是不够的。
例如:正则表达式r'^Hello'匹配以‘Hello’开始的字符串。
beginWithHello = re.compile(r'^Hello')
beginWithHello.search('Hello world!')
<re.Match object; span=(0, 5), match='Hello'>
beginWithHello.search('he said hello.') == None
True
正则表达式r'\d$'匹配以数字0到9结束的字符串。
endsWithNumber = re.compile(r'\d$')
endsWithNumber.search('Your number is 42')
<re.Match object; span=(16, 17), match='2'>
endsWithNumber.search('Your number is forty two') == None
True
正则表达式r'^\d+$'从开始到结束都是数字的字符串。
wholeStringIsNum = re.compile(r'^\d+$')
wholeStringIsNum.search('123456789')
<re.Match object; span=(0, 9), match='123456789'>
wholeStringIsNum.search('12345xyz6789') == None
True
wholeStringIsNum.search('12 3456789') == None
True
9.通配字符
在正则表达式中,句点(.)字符成为“通配符”。它匹配除了换行符之外的所有字符。
atRegex = re.compile(r'.at')
atRegex.findall('The cat in the hat sat on the flat mat')
['cat', 'hat', 'sat', 'lat', 'mat']
要记住, 句点字符只匹配一个字符,这就是为什么在上例中,对于flat只匹配了lat。要匹配真正的句点需要转义:\.
9.1 用点-星匹配所有字符
有时候想要匹配所有的字符串, 例如:假定想要匹配字符串‘First Name:’接下来是任意文本,接下来是‘Last Name:’
然后又是任意文本。可以用(.*)表示任意文本。回忆一下,句点表示“除换行符外所有的单个字符”, 星号字符表示
“前面字符出现零次或多次”。
nameRegex = re.compile(r'First Name:(.*) Last Name:(.*)')
mo = nameRegex.search('First Name: Al Last Name:Sweigart')
mo.group(1)
' Al'
mo.group(2)
'Sweigart'
点-星使用“贪心”模式:它总是匹配尽可能多的文本,要用“非贪心”模式匹配所有文本,就是用(.*?),问号告诉
Python用非贪心模式匹配。看看贪心模式和非贪心模式的区别:
nongreedyRegex = re.compile(r'<.*?>')
mo = nongreedyRegex.search('<To serve man> for dinner'>) #注意dinner还有一个右尖括号
mo.group()
'<To serve man>'
greedyRegex = re.compile(r'<.*>')
mo = greedyRegex.search('<To serve man> for dinner>') #注意dinner还有一个右尖括号
mo.group()
'<To serve man> for dinner>'
这两个正则表达式 都可以翻译成“匹配一个左尖括号, 接下来是任意字符, 接下来是一个右尖括号”。但是字符串
'<To serve man> for dinner>'对右尖括号有两种可能的匹配,在非贪心模式下,Python匹配尽可能短的字符串:<To serve man>
在贪心模式下,Python匹配尽可能长的字符串:<To serve man> for dinner>
9.2 用句点字符匹配换行
点-星将匹配除换行符外的所有字符,通过传入re.DOTALL作为re.compile()的第二个参数, 可以让句点字符匹配所
有字符, 包括含行符。
noNewlineRegex = re.compile('.*')
noNewlineRegex.search('Serve the punlic trust.\nProtect the innocent.\nUphold the law.').group()
'Serve the punlic trust.'
newlineRegex = re.compile('.*', re.DOTALL)
newlineRegex.search('Serve the punlic trust.\nProtect the innocent.\nUphold the law.').group()
'Serve the punlic trust.\nProtect the innocent.\nUphold the law.'
10.正则表达式符号复习
· ?匹配零次或一次前面的分组。
· * 匹配零次或多次前面的分组。
· + 匹配一次或多次前面的分组。
· {n} 匹配n次前的分组。
· {n,} 匹配n次或多次前面的分组。
· {,m} 匹配零次到m次前面的分组。
· {n,m} 匹配至少n次,至多m次前面的分组。
· {n,m}?或*?或+? 对前面的分组进行非贪心匹配。
· ^spam 意味着字符串必须以spam开始。
· spam$ 意味着字符串必须以spam结尾。
· . 匹配所有字符,除换行符外。
· \d, \w 和 \s 分别匹配数字, 单词和空格
· \D, \W 和 \S 分别匹配除数字,单词和空格外的所有字符。
· [abc] 匹配方括号内的任意字符(诸如a, b或c)
· [^abc] 匹配不在方括号内的任意字符。
11.不区分大小写的匹配
通常, 正则表达式用你指定的大小写匹配文本,但是,有时候你只关心匹配字母, 不关心它们是大写还是小写,
要让正则表达式不区分大小写,可以向re.compile()传入re.IGNORECASE或re.I,作为第二个参数。
robocop = re.compile(r'robocop', re.I)
robocop.search('RoboCop is part man, part machine, all cop.').group()
'RoboCop'
robocop.search('ROBOCOP protects the innocent.').group()
'ROBOCOP'
robocop.search('Al,why does your programming book talk about robocop so much?').group()
'robocop'
12.用sub()方法替换字符串
正则表达式不仅能找到文本模式,还能够用新的文本替换掉这些模式。Regex对象的sub()方法需要传入两个参数,
第一个参数是一个字符串,用于取代发现的匹配。第二个参数是一个字符串,是用正则表达式匹配的内容。sub()
方法返回替换完成后的字符串。
nameRegex = re.compile(r'Agent \w+')
nameRegex.sub('CENSORED', 'Agent Alice gave the secret document to Agent Bob.')
'CENSORED gave the secret document to CENSORED.'
有时候,你可能需要使用匹配的文本本身作为替换的一部分。在sub()的第一个参数中, 可以输入\1,\2,\3……。
表示“在替换中输入分组1,2,3……的文本”。例如:假定想要隐去密探的姓名, 只显示他们的姓名的第一个字母,要
做到这一点, 就可以使用正则表达式Agent(\w)\w*,传入r'\1****'作为sub()的第一个参数,
字符串的\1将由分组1匹配的文本所替代,也就是正则表达式的(\w)分组。
agentNamesRegex = re.compile(r'Agent (\w)\w*')
agentNamesRegex.sub(r'\1****', 'Agent Alice told Agent Carol that Agent Eve knew Agent Bob was a double agent')
'A**** told C**** that E**** knew B**** was a double agent'
13.管理复杂的正则表达式
如果要匹配的文本模式很简单, 正则表达式就很好,但匹配复杂的文本模式,可能需要长的、费解的正则表达式,
你可以告诉re.compile(),忽略正则表达式字符串中的空白符和注释, 从而缓解这一点。要实现这种详细模式,可
以向re.compile()传入变量re.VERBOSE, 作为第二个参数。
现在,不必使用这样难以阅读的正则表达式:
phoneRegex = re.compile(r'((\d{3}|\(\d{3}\))?(\s|-|\.)?\d{3}(\s|-|\.)\d{4}(\s*(ext|x|ext.)\s*\d{2,5})?)')
你可以将正则表达式放在多行中,并加上注释,像这样:
phoneRegex = re.compile(r'''(
(\d{3}|\(\d{3}\))? # area code
(\s|-|\.)? # separator
\d{3} # first 3 digits
(\s|-|\.) # separator
\d{4} # last 4 digits
(\s*(ext|x|ext.)\s*\d{2,5})? # extension
)''', re.VERBOSE)
请注意, 前面的例子使用了三重引号('''),创建了一个多行字符串, 这样就可以将正则表达式定义放在多行中,让它更可读。
正则表达式字符串中的注释规则与普通的python代码一样:#符号和它后面直到行末的内容,都被忽略。而且,表
示正则表达式的多行字符串中,多余的空白字符也不认为是要匹配的文本模式的一部分。这让你能够组织正则表达
式,让它更可读。
14.组合使用re.IGNORECASE, re.DOTALL和re.VERBOSE
如果你希望在正则表达式中使用re.VERBOSE来编写注释,还希望使用re.IGNORECASE来忽略大小写,该怎么办?
遗憾的是,re.compile()函数只接受一个值作为它的第二参数。可以使用管道字符(|)将变量组合起来,从而绕过这个限制。
管道字符在这里称为“按位或”操作符。
所以,如果希望正则表达式不区分大小写,并且句点字符匹配换行,就可以这样构造:
someRegexValue = re.compile('foo', re.IGNORECASE | re.DOTALL)
使用第二个参数的全部3个选项,看起来像这样:
someRegexValue = re.compile('foo', re.IGNORECASE | re.DOTALL | re.VERBOSE)