1 open() 和 codecs.open() 有什么区别吗？
首先，一提到用 python 读写文件估计大家都想到了 open 内置函数，或者 file 这个工厂函数，这两个的效果基本一样。那我们来看一下 open() 函数：
f=open(file_name,access_mode = 'r',buffering = -1)
-
file_name就是文件的路径加文件名字，不加路径则文件会存放在 python 程序的路径下。一般.代表当前路径，..代表上层目录路径。 -
access_mode就是操作文件的模式，主要有 r, w, rb，wb 等，细节网上一大堆，在此处特意提一下，就是有一种模式是rU，提示我们忽略不同的换行符公约。 -
buffering = -1是用于指示访问文件所采用的缓存方式。0表示不缓存；1表示只缓存一行，n代表缓存n行。如果不提供或为负数，则代表使用系统默认的缓存机制。
但是这个函数用什么弊端呢？就是 open 打开文件只能写入 str 类型,不管字符串是什么编码方式。
fr = open('test.txt', 'a')
line1 = "我爱祖国"
fr.write(line1)
这样是完全可以的。但是有时候爬虫或者其他方式得到一些数据写入文件时会有编码不统一的问题，所以就一般都统一转换为unicode。此时写入open方式打开的文件就有问题了。例如
line2 = u'我爱祖国'
fr.write(line2)
就会有如下的错误提示：
Traceback (most recent call last):
File "<pyshell#4>", line 1, in <module>
fr.write(line2)
UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-11: ordinal not in range(128)
这时候，我们能做的就是先将 line2 编码(encode)成 str 类型。也就是说我们爬虫得到的文本需要先 decode 成 Unicode 类型，再 encode 成 str 类型，才能进行存储。
这也太麻烦了把。人生苦短哇！这时候，就有了 codecs.open()来救场：
import coimport codecs
fw = codecs.open('test1.txt', 'a', 'utf-8')
fw.write(line2)
不会报错，说明写入成功。这种方法可以指定一个编码类型打开文件，使用这个方法打开的文件读取返回的将是 unicode。写入时，如果参数是 unicode 类型，则使用 open() 时指定的编码进行编码后写入；如果是 str，则先根据源代码文件声明的字符编码，解码成 unicode 后再进行前述操作。
相对内置的open()来说，这个方法比较不容易在编码上出现问题。
2 正则表达式-匹配中英文、字母和数字
在做项目的过程中，使用正则表达式来匹配一段文本中的特定种类字符，是比较常用的一种方式，下面是对常用的正则匹配做了一个归纳整理。
1、匹配中文：[\u4e00-\u9fa5]
2、英文字母：[a-zA-Z]
3、数字：[0-9]
4、匹配中文，英文字母和数字及下划线：^[\u4e00-\u9fa5_a-zA-Z0-9]+$
同时判断输入长度：[\u4e00-\u9fa5_a-zA-Z0-9_]{4,10}
5、
"(?!)"：不能以_开头
(?!.*?_$)：不能以_结尾
[a-zA-Z0-9\u4e00-\u9fa5]+：至少一个汉字、数字、字母、下划线
$：与字符串结束的地方匹配
6、只含有汉字、数字、字母、下划线，下划线位置不限：^[a-zA-Z0-9_\u4e00-\u9fa5]+$
7、由数字、26个英文字母或者下划线组成的字符串：^\w+$
8、2~4个汉字："^[\u4E00-\u9FA5]{2,4}$"
9、最长不得超过7个汉字，或14个字节(数字，字母和下划线)正则表达式：
^[\u4e00-\u9fa5]{1,7}$|^[\dA-Za-z_]{1,14}$
10、匹配双字节字符(包括汉字在内)：[^x00-xff]
评注：可以用来计算字符串的长度（一个双字节字符长度计2，ASCII字符计1）
11、匹配空白行的正则表达式：ns*r
评注：可以用来删除空白行
12、匹配HTML标记的正则表达式：<(S?)[^>]>.?|<.? />
评注：网上流传的版本太糟糕，上面这个也仅仅能匹配部分，对于复杂的嵌套标记依旧无能为力
13、匹配首尾空白字符的正则表达式：^s|s$
评注：可以用来删除行首行尾的空白字符(包括空格、制表符、换页符等等)，非常有用的表达式
14、匹配Email地址的正则表达式：^[a-zA-Z0-9][\w.-][a-zA-Z0-9]@[a-zA-Z0-9][\w.-][a-zA-Z0-9].[a-zA-Z][a-zA-Z.]*[a-zA-Z]$
评注：表单验证时很实用
15、手机号：^((13[0-9])|(14[0-9])|(15[0-9])|(17[0-9])|(18[0-9]))\d{8}$
16、身份证：(^\d{15})
17、匹配网址URL的正则表达式：[a-zA-z]+://[^s]*
评注：网上流传的版本功能很有限，上面这个基本可以满足需求
18、匹配帐号是否合法(字母开头，允许5-16字节，允许字母数字下划线)：^[a-zA-Z][a-zA-Z0-9_]{4,15}$
评注：表单验证时很实用
19、匹配国内电话号码：d{3}-d{8}|d{4}-d{7}
评注：匹配形式如 0511-4405222 或 021-87888822
20、匹配腾讯QQ号：[1-9][0-9]{4,}
评注：腾讯QQ号从10000开始
21、匹配中国邮政编码：[1-9]d{5}(?!d)
评注：中国邮政编码为6位数字
22、匹配身份证：d{15}|d{18}
评注：中国的身份证为15位或18位
23、匹配ip地址：d+.d+.d+.d+
评注：提取ip地址时有用
24、匹配特定数字：
^[1-9]d*$ //匹配正整数
^-[1-9]d*$ //匹配负整数
^-?[1-9]d*$ //匹配整数
^[1-9]d*|0$ //匹配非负整数（正整数 + 0）
^-[1-9]d*|0$ //匹配非正整数（负整数 + 0）
^[1-9]d*.d*|0.d*[1-9]d*$ //匹配正浮点数
^-([1-9]d*.d*|0.d*[1-9]d*)$ //匹配负浮点数
^-?([1-9]d*.d*|0.d*[1-9]d*|0?.0+|0)$ //匹配浮点数
^[1-9]d*.d*|0.d*[1-9]d*|0?.0+|0$ //匹配非负浮点数（正浮点数 + 0）
^(-([1-9]d*.d*|0.d*[1-9]d*))|0?.0+|0$ //匹配非正浮点数（负浮点数 + 0）
评注：处理大量数据时有用，具体应用时注意修正
25、匹配特定字符串：
^[A-Za-z]+$ //匹配由26个英文字母组成的字符串
^[A-Z]+$ //匹配由26个英文字母的大写组成的字符串
^[a-z]+$ //匹配由26个英文字母的小写组成的字符串
^[A-Za-z0-9]+$ //匹配由数字和26个英文字母组成的字符串
^w+$ //匹配由数字、26个英文字母或者下划线组成的字符串
26、
在使用RegularExpressionValidator验证控件时的验证功能及其验证表达式介绍如下:
只能输入数字：^[0-9]*$
只能输入n位的数字：^d{n}$
只能输入至少n位数字：^d{n,}$
只能输入m-n位的数字：^d{m,n}$
只能输入零和非零开头的数字：^(0|[1-9][0-9]*)$
只能输入有两位小数的正实数：^[0-9]+(.[0-9]{2})?$
只能输入有1-3位小数的正实数：^[0-9]+(.[0-9]{1,3})?$
只能输入非零的正整数：^+?[1-9][0-9]*$
只能输入非零的负整数：^-[1-9][0-9]*$
只能输入长度为3的字符：^.{3}$
只能输入由26个英文字母组成的字符串：^[A-Za-z]+$
只能输入由26个大写英文字母组成的字符串：^[A-Z]+$
只能输入由26个小写英文字母组成的字符串：^[a-z]+$
只能输入由数字和26个英文字母组成的字符串：^[A-Za-z0-9]+$
只能输入由数字、26个英文字母或者下划线组成的字符串：^w+$
验证用户密码:^[a-zA-Z]w{5,17}$ 正确格式为：以字母开头，长度在6-18之间，
只能包含字符、数字和下划线。
验证是否含有^%&',;=?$等字符：[^%&',;=?$x22]+
只能输入汉字：^[u4e00-u9fa5],{0,}$
验证Email地址：^w+[-+.]w+)*@w+([-.]w+)*.w+([-.]w+)*$
验证InternetURL：^http://([w-]+.)+[w-]+(/[w-./?%&=]*)?$
验证身份证号（15位或18位数字）：^d{15}|d{}18$
验证一年的12个月：^(0?[1-9]|1[0-2])$正确格式为：“01”-“09”和“1”“12”
验证一个月的31天：^((0?[1-9])|((1|2)[0-9])|30|31)$
正确格式为：“01”“09”和“1”“31”。
匹配中文字符的正则表达式： [u4e00-u9fa5]
匹配双字节字符(包括汉字在内)：[^x00-xff]
匹配空行的正则表达式：n[s| ]r
匹配HTML标记的正则表达式：/<(.)>.|<(.) />/
匹配首尾空格的正则表达式：(^s)|(s$)
匹配Email地址的正则表达式：w+([-+.]w+)@w+([-.]w+).w+([-.]w+)*
匹配网址URL的正则表达式：http://([w-]+.)+[w-]+(/[w- ./?%&=]*)?
3 Manual Tokenization 手动分词
这里主要介绍一个我刚学会的函数str.maketrans(). 之前是string.maketrans()，不过 python3.4 之后就改为内建函数bytearray.maketrans()``bytes.maketrans()``str.maketrans().
str.maketrans()功能是创建并返回一个映射表，常与translate()搭配使用。主要有三个参数，前两个参数需要等长，即将参数 1 替换为参数 2 的内容，第三个参数是指定删除哪些内容。下面的例子是各种英文中的标点符号string.punctuation。
import re
import string
filename = 'metamorphosis_clean.txt'
file = open(filename, 'rt')
text = file.read()
file.close()
# approach 1 : split by whitespace (not great)
words = text.split()
# approach 2 : select words (not great)
words2 = re.split(r'\W+', text)
#print(words2[:100])
# approach 3 : split by whitespace and remove punctuation
# Contractions like “What’s” have become “Whats” but “armour-like” has become “armourlike“.
words3 = text.split()
table = str.maketrans('', '', string.punctuation)
stripped = [w.translate(table) for w in words3]
print(stripped[:100])
