一. python3
中的编码及转换
这篇文章是遇到问题无法理解,Google
了几篇英文文章后,按照自己的理解写出来的,没有将python2
的各种编码转换及原理写出来,但根据bytes
对象的类比,相信对理解python2
中的字符串处理也会有很大帮助。
1. 字符串
python3
中,字符串在内存中都以unicode
编码,例如:
In [10]: s = 'abc'
In [11]: s
Out[11]: 'abc'
非ASCII
字符,如下:
In [12]: s = '字'
In [13]: s
Out[13]: '字'
2. bytes
对象
python3
中,增加了bytes
对象,它可以理解成“一个整型数组”,格式为b'...'
。它只能包含ASCII
字面字符,否则报错。例如:
In [14]: b'prefix in python 3.x'
Out[14]: b'prefix in python 3.x'
In [15]: b'字'
File "<ipython-input-15-77d1b7b6bc61>", line 1
b'字'
^
SyntaxError: bytes can only contain ASCII literal characters.
bytes
对象的作用是保存任意编码的字符串,且都以整型数组的方式保存,这样就能将任意编码的内容打印输出或保存文件。
3. 字符串编码转换及与bytes
对象间的转换
python2.x
中,字符串与unicode
对象的转换通过调用编码器的方法进行转换,python3
中同样有这些转换,但相应的主体会有变化,因为python3
中的字符串对象str
本身就是unicode
对象,而使用bytes
对象来对应python2
中各种编码的字符串对象,所以字符串编码的转换就编程str
对象与bytes
对象之间的转换。
str
对象转换为bytes
对象
可以使用bytes
的构造方法:
# 将str转换为utf-8
In [16]: bytes('字', 'utf-8')
Out[16]: b'\xe5\xad\x97'
也可以使用encode
方法:
In [17]: '字'.encode('utf-8')
Out[17]: b'\xe5\xad\x97'
encode
方法中的utf-8
可以省略,因为这是默认的编码方式,但其他的编码必须明确写出来。
bytes
对象转换为str
对象
使用decode
方法,需要确认bytes
对象本身的编码方式,否则会出现错误。如:
In [18]: b'\xe5\xad\x97'.decode('utf-8')
Out[18]: '字'
In [19]: b'\xe5\xad\x97'.decode('gbk')
---------------------------------------------------------------------------
UnicodeDecodeError Traceback (most recent call last)
<ipython-input-19-6a8b28632bc2> in <module>()
----> 1 b'\xe5\xad\x97'.decode('gbk')
UnicodeDecodeError: 'gbk' codec can't decode byte 0x97 in position 2: incomplete multibyte sequence
4. 写文件
无论是python2.x
还是python3.x
,我们必须确保使用open
方法打开的文件不能直接写入unicode
编码的字符串,它包含有非ASCII
字符,所以需要进行转换才能写入文件。python2.x
中,这个问题不太明显,因为字符串在内存中不是以unicode
进行编码的,而python3
中字符串默认都是unicode
对象,所以假如我们想将类似'字'
这样的字符串写入文件,必须使用str.encode
方法转换,且以wb
模式的open
方法打开文件写入,否则会报错。
In [20]: with open('test.txt', 'wb') as fp:
...: fp.write('字'.encode()) # 默认utf-8编码
...: