专治各种python字符编码问题疑难杂症

本文专治各种python字符编码问题疑难杂症。

标准动作

在脚本第一行指定编码格式：

# coding:utf-8

将默认的ascii字符流处理方式变为utf-8：

In [6]: import sys

In [7]: sys.getdefaultencoding()
Out[7]: 'ascii'

In [8]: reload(sys)
<module 'sys' (built-in)>

In [9]: sys.setdefaultencoding('utf-8')

In [10]: sys.getdefaultencoding()
Out[10]: 'utf-8'

把各种字符都统一成unicode来处理

这种方法亲测，非常好用：

# 下面这行导入语句要放在脚本文件的第一个非注释行，否则会报错：
# SyntaxError: from __future__ imports must occur at the beginning of the file
In [25]: from __future__ import unicode_literals

In [26]: type('123')
Out[26]: unicode

In [27]: type(u'123')
Out[27]: unicode

常见字符编码知识

ascii编码

是最早使用、最常见的一种字符编码，包含了128个字符（英文字母、数字、符号、控制字符等），也是下面讲到的所有编码的公共集合。

ISO8859-1编码

西欧字符集编码。

gb2312/gbk/gb18030之间的关系

这是简体中文的三种编码，从左到右包含的字符范围依次增大，左边是右边的子集。

big5编码

繁体中文编码。

unicode/utf-8/utf-16/utf-32之间的关系

unicode是一个字符集，表示包含了哪些字符——包含了世界上所有字符。
而utf-8/utf-16/utf-32是字符编码，表示用哪种方式表示unicode字符集，是对unicode字符集的具体编码实现方式。
最常用的是utf-8

获取字符串的编码格式

In [11]: from chardet import detect

In [12]: detect('abc')
Out[12]: {'confidence': 1.0, 'encoding': 'ascii', 'language': ''}

In [13]: detect(r'abc')
Out[13]: {'confidence': 1.0, 'encoding': 'ascii', 'language': ''}

注：detect的参数不能是unicode字符串，否则会报错。

str和unicode对象

str和unicode都是python内置的两种字符串类，并且有着同样的父类：basestring

In [15]: type('123')
Out[15]: str

In [16]: type(u'123')
Out[16]: unicode

In [17]: str.__bases__
Out[17]: (basestring,)

In [18]: unicode.__bases__
Out[18]: (basestring,)

In [19]: basestring.__bases__
Out[19]: (object,)

用好unicode这个桥梁

有时候并不知道一个字符串的编码是什么（比如从某个文件中读取的内容），这时候如何把这个文件的字符编码转为需要的编码呢（比如gbk）？

答案是：借助unicode为桥梁。

比如：

with open('content.txt','r') as fin:
    content = fin.read()
    # 这里先把文件内容decode成utf-8编码（中间桥梁），再encode成gbk编码（目标编码）
    target = content.decode('utf-8').encode('gbk')

把转义的中文unicode字符串转为中文

In [20]: s = '\u6211'

In [21]: type(s)
Out[21]: str

In [22]: print s
\u6211

In [23]: print s.decode('unicode-escape').encode('utf-8')
我

把一个普通字符串转为unicode字符串

In [2]: s = '123'

In [3]: type(s)
Out[3]: str

In [4]: s = unicode(s,'utf-8')

In [5]: type(s)
Out[5]: unicode

解决matplotlib图表中的中文乱码问题

按照matplotlib默认的字符编码，在图表中中文不能正常显示，会显示为方框，如下：

import matplotlib.pyplot as plt

x = [1,2,3]
y = [4,6,8]
plt.plot(x,y)
plt.title(u'数据')
plt.show()

解决方法：

plt.rcParams['font.sans-serif'] = ['SimHei']  # 指定默认字体
plt.rcParams['axes.unicode_minus'] = False  # 解决负号显示为方框的问题
plt.title(u'数据')
plt.plot(x,y)
plt.show()

image.png

用unicode编码读取文本文件

In [2]: with open('data.txt','r') as fin:
   ...:   text = unicode(fin.read(),'utf-8')
   ...:   print type(text)
   ...:
<type 'unicode'>