网络爬虫入门 (三) 正则表达式

一、简介

正则表达式是一个特殊的字符序列，可以很方便的检查一个字符串是否与某种模式匹配。Python中使用正则表达式的是re模块

二、匹配函数

匹配函数主要有:

• re.match(pattern, string[, flags])
• re.search(pattern, string[, flags])
• re.split(pattern, string[, maxsplit])
• re.findall(pattern, string[, flags])
• re.finditer(pattern, string[, flags])
• re.sub(pattern, repl, string[, count])
• re.subn(pattern, repl, string[, count])
  使用匹配函数前需先用re初始化正则表达式返回pattern对象进行匹配

pattern = re.compile("python")

1. match()函数

match()函数从开始进行匹配,直到匹配到相应的符合规则的字符或末尾就停止匹配,注意如果字符不在开头需使用正则匹配,在使用过程中遇到过正则表达式正确却不建议使用match()

result = re.match(pattern, "python")
print(result.group(0))
result2 = re.match(pattern, "python123")
print(result2)
result3 = re.match(pattern, "pyton123")
print(result3)
result4 = pattern.match("abcdefpythonfff", 6, 12)
print(result4)
pattern = re.compile("(python)(python)")
result5 = re.match(pattern, "pythonpython,python")
print(result5.group(0))
print(result5.span(0))

输出结果为:

> hello
> <_sre.SRE_Match object; span=(0, 6), match='python'>
> None
> <_sre.SRE_Match object; span=(6, 12), match='python'>
> pythonpython
> (0, 10)

2. findall()函数

相较match函数容易使用,可以查找到所有符合规则的字符。

result = re.findall(pattern)

三、牛刀小试

下面使用requests爬取天猫首页的所有链接并存储到Excel表格中。
天猫首页地址:http://www.tmall.com
进入控制台查看页面结构发现天猫首页链接格式如下图:

天猫首页链接

import requests
import re
import xlwt
response = requests.get("http://www.tmall.com")
if response.status_code == 200:
    html = response.text
    # print(html)
    links = re.findall("<a href=\"/*(.+?)\">(.+?)</a>", html)
    # print(links)
    rowCount = 0
    wbk = xlwt.Workbook("./tmalllinks.xls")
    w_sheet = wbk.add_sheet("表01")
    for url, name in links:
        print("名称:", name, "路径:", url)
        w_sheet.write(rowCount, 0, name)
        w_sheet.write(rowCount, 1, url)
        rowCount += 1
    wbk.save("./tmalllinks.xls")