一、简介
正则表达式是一个特殊的字符序列，可以很方便的检查一个字符串是否与某种模式匹配。Python中使用正则表达式的是re模块
二、匹配函数
匹配函数主要有:
- re.match(pattern, string[, flags])
- re.search(pattern, string[, flags])
- re.split(pattern, string[, maxsplit])
- re.findall(pattern, string[, flags])
- re.finditer(pattern, string[, flags])
- re.sub(pattern, repl, string[, count])
- re.subn(pattern, repl, string[, count])
使用匹配函数前需先用re初始化正则表达式返回pattern对象进行匹配
pattern = re.compile("python")
1. match()函数
match()函数从开始进行匹配,直到匹配到相应的符合规则的字符或末尾就停止匹配,注意如果字符不在开头需使用正则匹配,在使用过程中遇到过正则表达式正确却不建议使用match()
result = re.match(pattern, "python")
print(result.group(0))
result2 = re.match(pattern, "python123")
print(result2)
result3 = re.match(pattern, "pyton123")
print(result3)
result4 = pattern.match("abcdefpythonfff", 6, 12)
print(result4)
pattern = re.compile("(python)(python)")
result5 = re.match(pattern, "pythonpython,python")
print(result5.group(0))
print(result5.span(0))
输出结果为:
> hello
> <_sre.SRE_Match object; span=(0, 6), match='python'>
> None
> <_sre.SRE_Match object; span=(6, 12), match='python'>
> pythonpython
> (0, 10)
2. findall()函数
相较match函数容易使用,可以查找到所有符合规则的字符。
result = re.findall(pattern)
三、牛刀小试
下面使用requests爬取天猫首页的所有链接并存储到Excel表格中。
天猫首页地址:http://www.tmall.com
进入控制台查看页面结构发现天猫首页链接格式如下图:
天猫首页链接
想要抓取href对应的内容以及a标签的文案,对应的正则表达式为<a href="/*(.+?)">(.+?)</a>,
以下是最终代码:
import requests
import re
import xlwt
response = requests.get("http://www.tmall.com")
if response.status_code == 200:
html = response.text
# print(html)
links = re.findall("<a href=\"/*(.+?)\">(.+?)</a>", html)
# print(links)
rowCount = 0
wbk = xlwt.Workbook("./tmalllinks.xls")
w_sheet = wbk.add_sheet("表01")
for url, name in links:
print("名称:", name, "路径:", url)
w_sheet.write(rowCount, 0, name)
w_sheet.write(rowCount, 1, url)
rowCount += 1
wbk.save("./tmalllinks.xls")
