编码问题以及其在Python2与3的差异

本人工作使用Python2.7,在业余做玩具的时候使用的Python3.5,今天在使用zipfile模块的时候,遇到zip文件中有中文的文件夹,导致乱码。所以在解决问题的时候,顺道就摸索了一下编码问题的差异。
如有错误,请指正!


一般我们遇到的编码问题,主要是两类:文件的编码和数据的编码。

  1. 文件的编码问题,请再编辑器中设置文件的编码为utf-8,如果使用中文注释,Python2和3的处理方式相同,请在第一行或第二行加一个编码申明即可('# -- coding=utf-8 --' 或者 '# encoding=utf-8')
  2. 而数据的编码,Python2与3稍微有些差别。这里也主要记录下数据编码的问题。

是什么导致的编码问题
在语言设计之初,都是使用英文,所以字符集是ascii码。即在存储的时候,使用只占一个字节的数字对映射一个字符,你想呀,一个字节可以表示的最大字符数是255(00H—FFH)。这对于英文而言,是完全足够的,一般只用到前128个(00H--7FH,最高位为0)。而最高位为1 的另128 个字符(80H—FFH)被称为“扩展ASCII”,一般用来存放英文的制表符、部分音标字符等等的一些其它符号。
后来国际化了,到中国,发现ASCII码不够用呀。咋办?
于是中国的编码方式出现了:GB2312。它是和ASCII 兼容的一种编码规范, 其实就是利用扩展ASCII没有真正标准化这一点,把一个中文字符用两个扩展ASCII 字符来表示,以区分ASCII 码部分。但是中文的文字编码和扩展ASCII 码有重叠呀:把两个英文符号解释为中文的一个字或者把一个中文字解释为两个英文符号,就“乱码”了。同样的问题再其他国家也类似。
为了解决这个问题,unicode字符集就出现了。并且再后面的发展中把全世界所有的文字都考虑进来,给每一个文字分配一个编码。因为编码方式的不同,所以可以使用2个字节来表示,也可使用4个字节来表示。
所以编码问题主要原因是不同字符集以及其编码方式不同导致的。


Python2与3在编码的差异

  1. 文件编码:都是使用utf-8,此处是针对文件BOM头(文件最前头的不可见的内容,帮助编辑器识别文件编码方式的一个标识)。
  2. Python环境编码方式:都需要文件第一行或者第二行申明文件编码方式。
  3. Python变量编码方式:
    在Python2中主要有str和unicode两种字符串类型,而到Python3中改为了bytes和str。因为Python3默认了字符串类型为unicode(所以再3中,字符串抛弃了u'中文'的定义方式,但Python3中如果是写或者读bytes类型就必需带上'b')。
- 字符串类型 默认编码
Python2 str & unicode 默认采取的ASCII编码,字母、标点和其他字符只使用一个字节来表示,但对于中文字符来说,一个字节满足不了需求。使用u'中文'方式申明变量。
Python3 bytes & str 默认用unicode编码,所以申明变量不用使用u'中文'方式。

根据上表可以看出来,代码中申明的变量的问题就解决了。
但是外来的数据呢?
比如说读取文件中的数据或者web前端传过来的数据呢?
其实很简单,而且Python2和3的处理方式是有一些差异的。
就拿我在使用ziplib,举个例子:比如ZipFile对象中的info_list的filename的编码方式为cp437。

  1. Python3中,那么filename为unicode的str。那么首先需要把filename翻译为计算机认识的字符串:filename.encode('cp437'),然后再转为人能看到的字符串:decode('gbk')。
    此处可能有同学要问了,为什么decode不使用utf-8方式呢?
    因为cp437和gbk是ASCII编码,而utf-8为unicode编码了,在解码过程中decode为utf-8,直接不认识呀,那么就出错了。

  2. Python2中,那么filename为ascii码的str。那么想象下要输出中文,首先他要是一个unicode,那毫不犹豫要是unicode(filename, 'utf-8')或者unicode(filename, 'gbk')就可以。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,271评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,275评论 2 380
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,151评论 0 336
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,550评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,553评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,559评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,924评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,580评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,826评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,578评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,661评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,363评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,940评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,926评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,156评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,872评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,391评论 2 342

推荐阅读更多精彩内容