本次涉及代码如下。至此,整个正则练习部分的内容已初步完成。
05.翻页URL不变的智能探测总页数.py
实战代码
import requests
from lxml import etree
import re
网址 = 'https://www.jkl.com.cn/newsList.aspx?TypeId=10009' # 或923
UA伪装 = {'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.92 Safari/537.36'}
proxies={
'http':'http://XXXXX@XXXXX',
'https':'http://XXXXX@XXXXX'
}
响应数据 = requests.get(url=网址,headers=UA伪装,proxies=proxies,verify=False).text
解析 = etree.HTML(响应数据)
尾页 = 解析.xpath('//a[text()="尾页"]/@href')
#print(尾页) 输出结果:['?current=3&TypeId=10009 ']
if 尾页 != []:
#匹配找到唯一的一位数字
正则 = re.search('\d{1}',尾页[0])
#print(正则) 输出结果:<re.Match object; span=(9, 10), match='3'>
页数 = 正则.group(0)
else:
页数 = 1
print(页数)
练习代码
# -*- coding: utf-8 -*-
"""
"""
'''
# compile配合findall
import re
a = '0355-67796666'
b = re.compile(r'\d+-\d{8}')
r = re.findall(b,a)
print(r)
#输出结果:['0355-67796666']
import re
a = '0355-67796666'
b = re.compile(r'\d+-\d{8}')
r = b.findall(a)
print(r)
#输出结果:['0355-67796666']
'''
'''
# 直接使用findall
import re
a = '0355-67796666'
r = re.findall(r'\d+-\d{8}',a)
print(r)
#输出结果:['0355-67796666']
'''
'''
# compile配合search
import re
a = '0355-67796666'
正则 = re.compile(r'\d+-\d{8}')
r = re.search(正则,a)
print(r.group())
#输出结果:0355-67796666
'''
'''
# compile配合match
import re
a = '0355-67796666'
正则 = re.compile(r'\d+-\d{8}')
r = re.match(正则,a)
print(r.group())
#输出结果:0355-67796666
'''
'''
import re
a = 'A83C72D1D8E67'
r = re.match('\d',a)
print(r) # 返回对象所在位置
#print(r.group()) # 返回找到的结果,例如8
#print(r.span()) # 返回一个元组表示匹配位置(开始,结束)
#输出结果:None 啥都没有匹配到。因为match是从首位开始匹配的
'''
'''
import re
a = 'A83C72D1D8E67'
r = re.search('\d',a)
print(r)
print(r.group())
#输出结果:8
'''
#2.2 概括字符集
'''
# 提取字符串a中所有的数字
import re
a = 'Excel 12345Word\n23456_PPT12lr'
r = re.findall('\d',a)
print(r)
#输出结果:['1', '2', '3', '4', '5', '2', '3', '4', '5', '6', '1', '2']
'''
'''
# 提取字符串a中所有非数字
import re
a = 'Excel 12345Word\n23456_PPT12lr'
r = re.findall('\D',a)
print(r)
#输出结果:['E', 'x', 'c', 'e', 'l', ' ', 'W', 'o', 'r', 'd', '\n', '_', 'P', 'P', 'T', 'l', 'r']
'''
'''
# \w 可以提取中文,英文,数字和下划线,不能提取特殊字符
import re
a = 'Excel 12345Word\n23456_PPT12lr'
r = re.findall('\w',a)
print(r)
#输出结果:['E', 'x', 'c', 'e', 'l', '1', '2', '3', '4', '5', 'W', 'o', 'r', 'd', '2', '3', '4', '5', '6', '_', 'P', 'P', 'T', '1', '2', 'l', 'r']
'''
'''
# \W 提取特殊字符、空格、\n、\t等
import re
a = 'Excel 12345Word\n23456_PPT12lr'
r = re.findall('\W',a)
print(r)
'''
'''
#2.3 数量词
# 提取大小写字母混合的单词
import re
a = 'Excel 12345Word23456PPT12Lr'
r = re.findall('[a-zA-Z]{3,5}',a)
print(r)
'''
'''
# 匹配0次或无限多次 *号,*号前面的字符出现0次或无限次
import re
a = 'exce0excell3excel3'
r = re.findall('excel*',a)
print(r)
'''
'''
# 匹配1次或者无限多次 +号,+号前面的字符至少出现1次
import re
a = 'exce0excell3excel3'
r = re.findall('excel+',a)
print(r)
'''
'''
# 匹配0次或1次 ?号,?号经常用来去重复
import re
a = 'exce0excell3excel3'
r = re.findall('excel?',a)
print(r)
'''
'''
#2.4 边界匹配 ^和$
# 限制电话号码的位置必需是8-11位才能提取
import re
tel = '13811115888'
r = re.findall('^\d{8,11}$',tel)
print(r)
'''
'''
# 将abc打成一个组,{2}指的是重复几次,匹配abcabc
import re
a = 'abcabcabcxyzabcabcxyzabc'
r = re.findall('(abc){2}',a)
print(r)
#输出结果:['abc', 'abc']
'''
#2.6 匹配模式参数
'''
# findall第三参数 re.I忽略大小写
import re
a = 'abcFBIabcCIAabc'
r = re.findall('fbi',a,re.I)
print(r)
'''
'''
# 多个模式之间用 | 连接在一起
import re
a = 'abcFBI\nabcCIAabc'
r = re.findall('fbi.{1}',a,re.I | re.S) # 匹配fbi然后匹配任意一个字符包括\n
print(r)
#注:.句号,不匹配\n,但是使用re.S之后,匹配所有字符包括换行符
'''
'''
#2.7 re.sub替换字符串
# 把FBI替换成BBQ,第4参数写1,证明只替换第一次,默认是0(无限替换)
import re
a = 'abcFBIabcFBIaFBICIAabc'
r = re.sub('FBI','BBQ',a,2)
print(r)
#输出结果:abcBBQabcBBQaFBICIAabc
'''
'''
#拓展知识
import re
a = 'abcFBIabcFBIaFBICIAabc'
def 函数名(形参):
pass
r = re.sub('FBI',函数名,a,1)
print(r)
#输出结果:abcabcFBIaFBICIAabc
#分析:如果找到了FBI这个子串,会将FBI当成参数传到形参中,pass是什么都没返回,所以FBI被空字符串代替了。
'''
'''
# 把函数当参数传到sub的列表里,实现把业务交给函数去处理,例如将FBI替换成$FBI$
import re
a = 'abcFBIabcFBIaFBICIAabc'
def 函数名(形参):
分段获取 = 形参.group() # group()在正则表达式中用于获取分段截获的字符串,获取到FBI
return '$' + 分段获取 + '$'
r = re.sub('FBI',函数名,a)
print(r)
#输出结果:abc$FBI$abc$FBI$a$FBI$CIAabc
'''
'''
# 将字符串中大于等于5的替换成9,小于5的替换成0
import re
a = 'C52730A52730D52730'
def 函数名(形参):
分段获取 = 形参.group()
if int(分段获取) >= 5:
return '9'
else:
return '0'
r = re.sub('\d',函数名,a)
print(r)
#输出结果:C90900A90900D90900
'''
'''
import re
a = 'life is short,i use python'
r = re.search('life(.*)python',a)
print(r.group(1))
#输出结果: is short,i use
import re
a = 'life is short,i use python'
r = re.findall('life(.*)python',a)
print(r)
'''
'''
# 拓展知识
import re
a = 'life is short,i use python,i love python'
r = re.search('life(.*)python(.*)python',a)
print(r.group(0)) # 完整正则匹配
print(r.group(1)) # 第1个分组之间的取值
print(r.group(2)) # 第2个分组之间的取值
print(r.group(0,1,2)) # 以元组形式返回3个结果取值
print(r.groups()) # 返回就是group(1)和group(2)
'''
'''
#输出结果:life is short,i use python,i love python
is short,i use
,i love
('life is short,i use python,i love python', ' is short,i use ', ',i love ')
(' is short,i use ', ',i love ')
'''
import re
a = 'abb'
b = re.compile(r'ab{3}')
r = b.findall(a)
print(r)
#输出结果:[]