2-Python 基本的正则表达式

本章概要：
　　PyCharm的安装与配置
　　正则表达式符号与方法
　　正则表达式的应用举例
　　实例--制作文本爬虫

1、PyCharm的安装与配置

PyCharm是由JetBrains开发的Python集成开发环境(IDE), 支持调试、语法、高亮、Project管理、代码跳转、智能提示、自动完成、单元测试、版本控制等常用功能。

一、PyCharm的安装

1、PyCharm 官方首页: http://www.jetbrains.com/pycharm/

2、PyCharm 配置
　　字体、行号

３、PyCharm的使用
　　运行、调试代码

2、正则表达式符号与方法

常用符号：点号，星号，问号和括号
　　常用方法：findall, search, sub
　　常用技巧

一、常用符号

.：匹配任意字符，换行符\n除外
　　*****：匹配前一个字符0次或无限次
　　?：匹配前一个字符0次或1次
　　.*****：贪心算法
　　.*?：非贪心算法
　　()：括号内的数据作为结果返回

二、常用方法

findall：匹配所有符合规律的内容，返回包含结果的列表
search：匹配并提取第一个符合规律的内容，返回一个正则表达式（object）
sub:替换符合规律的内容，返回替换后的值

1、.使用
.：匹配任意字符，换行符\n除外

import re

#.的使用举例
a = 'xy123'
b = re.findall('x.',a)
print b

>>> 
['xy']

import re

#.的使用举例
a = 'xy123'
b = re.findall('x..',a)
print b

>>> 
['xy1']

import re

#.的使用举例
a = 'xy123'
b = re.findall('x...',a)
print b

>>> 
['xy12']

2、*****的使用
*：匹配前一个字符0次或无限次

import re

#*的使用举例
a = 'xyxy123'
b = re.findall('x*',a)
print b

>>> 
['x', '', 'x', '', '', '', '', '']

3、?的使用
?：匹配前一个字符0次或1次

import re

#?的使用举例
a = 'xy123'
b = re.findall('x?',a)
print b

>>> 
['x', '', '', '', '', '']

上面的内容全部都是只需要了解即可，需要掌握的只有下面这一种组合方式(.?)*

4、.*****的使用
.*****：贪心算法

import re

#.*的使用举例
secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'
b = re.findall('xx.*xx',secret_code)
print b

>>> 
['xxIxxfasdjifja134xxlovexx23345sdfxxyouxx']

5、.*****?：贪心算法

import re

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

#.*？的使用举例
c = re.findall('xx.*?xx',secret_code)
print c

>>> 
['xxIxx', 'xxlovexx', 'xxyouxx']

6、()的使用

import re

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

#使用括号与不使用括号的差别
d = re.findall('xx(.*?)xx',secret_code)
print d
for each in d:
    print each

>>> 
['I', 'love', 'you']
I
love
you

import re

s = '''sdfxxhello
xxfsdfxxworldxxasdf'''

d = re.findall('xx(.*?)xx',s)
print d

>>> 
['fsdf']

re.S的作用，使得.包括\n

import re

s = '''sdfxxhello
xxfsdfxxworldxxasdf'''

d = re.findall('xx(.*?)xx',s, re.S)
print d

>>> 
['hello\n', 'world']

findall与search的使用
对比findall与search的区别

import re

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

# 对比findall与search的区别
s2 = 'asdfxxIxx123xxlovexxdfd'
f = re.search('xx(.*?)xx123xx(.*?)xx',s2).group(1)
print f

>>> 
I

import re

# 对比findall与search的区别
s2 = 'asdfxxIxx123xxlovexxdfd'
f = re.search('xx(.*?)xx123xx(.*?)xx',s2).group(2)
print f

>>> 
love

当把2换成3，代码报错。
有几个括号就有几个输出，即相当于列表中有几个元素，使用group调用。

import re

# 对比findall与search的区别
s2 = 'asdfxxIxx123xxlovexxdfd'
f2 = re.findall('xx(.*?)xx123xx(.*?)xx',s2)
print f2[0][1]

>>> 
love

sub的使用

import re

#sub的使用举例
s = '123rrrrr123'
output = re.sub('123(.*?)123','123%d123'%789,s)
print output

>>> 
123789123

三、常用技巧

import re
　　from re import *
　　from re import findall, search, sub, S
　　不需要compile
　　使用\d+匹配纯数字

import re
from re import findall,search,S

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

# 演示不同的导入方法
info = findall('xx(.*?)xx',secret_code,S)
for each in info:
    print each

>>> 
I
love
you

注意：

千万不要使用 S 的形式，容易混淆
在确定只有一个内容时，使用search可以提高效率

compile的使用
不建议使用compile,因为findal已经采用了compile的方法了

import re
from re import findall,search,S

secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'

#不要使用compile
pattern = 'xx(.*?)xx'
new_pattern = re.compile(pattern,re.S)
output = re.findall(new_pattern,secret_code)
print output

>>> 
['I', 'love', 'you']

匹配纯数字

import re

#匹配数字
a = 'asdfasf1234567fasd555fas'
b = re.findall('(\d+)',a)
print b

>>> 
['1234567', '555']

3、正则表达式的应用

课程概要：
　　使用findall与search从大量文本中匹配感兴趣的内容
　　使用sub实现幻夜内容

匹配多段内容：
　　灵活使用findall与search
　　先抓大后抓小

实现翻页：

实验网址：http://www.jikexueyuan.com/course/android/?pageNum=2
核心代码：
　　new_link=re.sub("pageNum=\d", "pageNum=%d+"%i, old_url)

【text.txt】

<html>
  <head>
    <title>极客学院爬虫测试</title>
  </head>
  <body>
    <div class="topic"><a href="http://jikexueyuan.com/welcome.html">欢迎参加《Python定向爬虫入门课程》</a>
      <div class="list">
        <ul>
          <li><a href="http://jikexueyuan.com/1.html">这是第一条</a></li>
          <li><a href="http://jikexueyuan.com/2.html">这是第二条</a></li>
          <li><a href="http://jikexueyuan.com/3.html">这是第三条</a></li>
        </ul>
      </div>
    </div>
  </body>
</html>

【代码】

# -*- coding:utf8 -*-

import re
old_url="http://www.jikexueyuan.com/course/android/?pageNum=2"
total_page=20

f=open("text.txt", r)
html=f.read()
f.close()

# 爬标题
title=re.search("<title>(.*?)<title>", html, re.S).group(1)
print title

# 爬取链接
links=re.findall('herf="(.*?)"', html, re.S)
for each in links:
    print each

# 爬取部分文字，先大后小
text_field=re.findall('<ul>(.*?)</ul>', html, re.S)[0]
the_text=re.findall('">(.*?)</a>', text_field, re.S)
for every_text in the_text:
    print every_text

#sub实现翻页
for i in range(2,total_page+1):
    new_link = re.sub('pageNum=\d+','pageNum=%d'%i,old_url,re.S)
    print new_link

>>> 
极客学院爬虫测试
http://jikexueyuan.com/welcome.html
http://jikexueyuan.com/1.html
http://jikexueyuan.com/2.html
http://jikexueyuan.com/3.html
这是第一条
这是第二条
这是第三条
http://www.jikexueyuan.com/course/android/?pageNum=2
http://www.jikexueyuan.com/course/android/?pageNum=3
http://www.jikexueyuan.com/course/android/?pageNum=4
http://www.jikexueyuan.com/course/android/?pageNum=5
http://www.jikexueyuan.com/course/android/?pageNum=6
http://www.jikexueyuan.com/course/android/?pageNum=7
http://www.jikexueyuan.com/course/android/?pageNum=8
http://www.jikexueyuan.com/course/android/?pageNum=9
http://www.jikexueyuan.com/course/android/?pageNum=10
http://www.jikexueyuan.com/course/android/?pageNum=11
http://www.jikexueyuan.com/course/android/?pageNum=12
http://www.jikexueyuan.com/course/android/?pageNum=13
http://www.jikexueyuan.com/course/android/?pageNum=14
http://www.jikexueyuan.com/course/android/?pageNum=15
http://www.jikexueyuan.com/course/android/?pageNum=16
http://www.jikexueyuan.com/course/android/?pageNum=17
http://www.jikexueyuan.com/course/android/?pageNum=18
http://www.jikexueyuan.com/course/android/?pageNum=19
http://www.jikexueyuan.com/course/android/?pageNum=20

4、实战_制作文本爬虫

目标网站：http://www.jikexueyuan.com/
目标内容：课程图片
实现原理：

1.保存网页源代码、
2.Python读文件加载源代码
3.正则表达式提取图片网址
4.下载图片

souce.txt为网页源码