1.正则表达式：世界上的信息非常多，而我们关注的信息是有限的。假如我们希望只提取出关注的数据，此时可以通过一些表达式提取，正则表达式就是其中一种进行数据筛选的表达式。
2.原子：是正则表达式中最基本的组成单位。每个正则表达式至少包括一个原子。常见的原子类型有：
a.普通字符
例1：
import re
pat = "yue"
string = "http://yum,iqianyue.com"
rst1 = re.search(pat, string)
print(rst1)
结果是
<_sre.SRE_Match object; span=(16, 19), match='yue'>
例2：
import re
pat = "yue"
string2 = "abcdefg"
rst2 = re.search(pat, string2)
print(rst2)
结果是
None
b.非打印字符
如：\n 换行符 \t 制表符
例3：
import re
pat2 = "\n"
string3 = '''ahsixjxbshjs
skakxnxjxkk'''
rst3 = re.search(pat2, string3)
print(rst3)
注：字符换行最好用三引号，支持换行
结果是：
<_sre.SRE_Match object; span=(12, 13), match='\n'>
c.通用字符
\w ：匹配任意的一个字母，数字，或下划线
\d :匹配任意一个十进制数
\s :匹配任意一个空白字符
\W：匹配\w相反的东西
即\W与\w互补，同理\D和\d ，\S和\s
例4：
import re
pat3 = "\w\dpython\w"
string4 = "qhsiixjjwhsbmxk"
rst4 = re.search(pat3, string4)
print(rst4)
string5 = "ahuqjz7pythonejwokw"
rst5 = re.search(pat3, string5)
print(rst5)
结果是：
None
<_sre.SRE_Match object; span=(5, 14),match='z7pythone'>
d.原子表
原子表主要是定义一组平等的原子，用[]括起来
例如：[jsz]里面有三个原子，处于平等地位
例5：
import re
pat4 = "js[qusi]w"
string6 = "shdjsuwlszmsj"
rst6 = re.search(pat4, string6)
print(rst6)
string7 = "shaajsquwxns"
rst7 = re.search(pat4, string7)
print(rst7)
结果是：
<_sre.SRE_Match object; span=(3, 7), match='jsuw'>
None
注:[]只能匹配其中的一个原子
3.元字符
所谓元字符，就是正则表达式中有一些特殊含义的字符，比如重复n次前面的字符。
a. . 匹配任意字符
b. ^ 匹配字符串开始的位置
c. $匹配字符串结束的位置
d. *匹配0次，1次或多次前面的字符
e. ?匹配0次或1次
f. +匹配一次或多次
g. {n}前面的原子恰好出现n次, n是具体的数字
h. {n,}前面的原子至少出现n次
i. {n,m}前面的原子至少出现n次，至多出现m次
j. | 模式选择符 如：t|s 即t或者s
k. ()用于提取某一个内容上
例:6：
import re
pat = ".python..."
string = "ahdijxhapythonaxji"
rst = re.search(pat,string)
print(rst)
结果是
<_sre.SRE_Match object; span=(7, 17), match='apythonaxj'>
例7：
import re
pat1 = "python|php"
string1 = "ahqosxphpszhpythonxmak"
rst = re.search(pat1,string1)
print(rst)
结果是
<_sre.SRE_Match object; span=(6, 9), match='php'>
4.模式修正符：
即在不改变正则表达式的情况下，通过模式修正符改变正则表达式的含义，从而实现一些匹配结果调整的功能。
I ：匹配时让表达式忽略大小写
M：可以进行多行匹配
L：本地话识别匹配
U：根据unique解析我们的字符
S：让 . 能够匹配换行符
例8：
import re
pat1 = "python"
pat2 = "python"
string = "sjqojnuPythonsow"
rst = re.search(pat1,string)
print(rst)
rst1 = re.search(pat2,string,re.I)
print(rst1)
结果是
None
<_sre.SRE_Match object; span=(7, 13), match='Python'>
5.贪婪模式和懒惰模式
贪婪模式的核心点是尽可能多的去匹配，懒惰模式的核心点是尽可能少的去匹配。
例9：
import re
pat1 = "p.*y" #贪婪模型
pat2 = "p.*?y" #懒惰模式
string = "abcdksjaopythonshuapy"
rst1 = re.search(pat1,string)
print(rst1)
rst2 = re.search(pat2,string)
print(rst2)
结果是：
<_sre.SRE_Match object; span=(9, 21), match='pythonshuapy'>
<_sre.SRE_Match object; span=(9, 11), match='py'>
6.正则表达式函数：
正则表达式的函数有
re.match() #从头开始搜索，若开头不是就直接out了
re.search() #从一个字符串中从左往右一次搜索确定条件下的表达式。
全局匹配函数 #
re.sub() #主要用于替换
例10.
import re
pat = "python"
string = "shqiahqpython"
rst = re.search(pat,string)
print(rst)
rst1 = re.match(pat,string)
print(rst1)
string1 = "pythonakqs"
rst2 = re.match(pat,string1)
print(rst2)
结果是：
<_sre.SRE_Match object; span=(7, 13), match='python'>
None
<_sre.SRE_Match object; span=(0, 6), match='python'>
全局搜索函数：
例11.
import re
pat1 = "p.*?y"
string = "sjiqhspsgqhysqjpshqy"
rst = re.search(pat1,string)
print(rst)
rst1 = re.compile(pat1).findall(string)
print(rst1)
结果是：
<_sre.SRE_Match object; span=(6, 12), match='psgqhy'>
['psgqhy', 'pshqy']
7.常见正则实例：
注：搜索源代码，右键，查看源代码，ctrl+F
如何匹配.com和.cn的网址，以及如何匹配电话号码
首先，介绍一下，‘[ ]’ 字符集合设定符
首先说明一下字符集合设定的方法。由一对方括号括起来的字符，表明一个字符集合，能够匹配包含在其中的任意一个字符。比如 [abc123]，表明字符’a’ ‘b’ ‘c’ ‘1’ ‘2’ ‘3’都符合它的要求。可以被匹配。
在’[ ]’中还可以通过 ’-‘ 减号来指定一个字符集合的范围，比如可以用[a-zA-Z]来指定所以英文字母的大小写，因为英文字母是按照从小到大的顺序来排的。你不可以把大小的顺序颠倒了，比如写成[z-a]就不对了。
如果在’[ ]’里面的开头写一个 ‘^’ 号，则表示取非，即在括号里的字符都不匹配。如[^a-zA-Z]表明不匹配所有英文字母。但是如果 ‘’不在开头，则它就不再是表示取非，而表示其本身，如[a-zA-Z]表明匹配所有的英文字母和字符’^’。
例12.
import re
pat = "[a-zA-Z]+://[^\s]*[.com|.cn]"
string = '<a href="http://www.baidu.com>huqisj</a>'
rst1 = re.compile(pat).findall(string)
print(rst1)
结果是：
['http://www.baidu.com']
import urllib.request
response = urllib.request.urlopen('http://www.baidu.com')
html =str(response.read(),'utf-8')
print(html)
8.从https://read.douban.com/provider/all中爬取所有出版社
import re
pat = '''<div class="name">(.*?)</div>'''
import urllib.request
data = urllib.request.urlopen("https://read.douban.com/provider/all").read()
rst = re.compile(pat).findall(str(data,'utf-8'))
print(rst)
或者，
import urllib.request
data = urllib.request.urlopen("https://read.douban.com/provider/all").read()
data = data.decode("utf-8")
import re
pat = '''<div class="name">(.*?)</div>'''
mydata = re.compile(pat).findall(data)
fh = open("E:/1.txt","w")
for i in range(0,len(mydata)):
fh.write(mydata[i]+"\n")
print(fh)
