一、背景描述

开发环境：python2.7，spyder。

问题：行为评分卡做模型监控（样本外验证），对验证月份数据集进行数据分箱，中文类变量无法正确判断是否相同，导致数据分箱错误。

示例：教育程度变量（专科，本科，硕士），由于中文比较一致错误，导致变量分箱均分到了最后一组硕士。

初步分析：在建模过程中做测试、验证集的分箱未发生此问题，因此怀疑主要是在数据持久化的时候pickle（模型及数据字典的保存）、pandas（dataframe基础数据）对数据的编码方式存在差异。

解决思路：py2本身对中文支持不友好，由于编码不同所以导致同一中文在py2中判断一致性时判断为False，那么决定在读取数据后，对数据统一为同一编码格式是最简单的。（修改源代码、研究那两库会消耗更多时间，不划算）。

吐槽：原始代码的作者和团队负责人都不太靠谱，其实就我们的应用场景而言，python3完全可以满足，迁移也很简单，不过刚好也想搞明白python的编码机制，那就这样吧。

二、python2的编码原理

参考文章：https://www.cnblogs.com/liaohuiqiang/p/7247393.html

参考文章说的非常详细，不赘述，这里总结几个自己觉得比较重要的点：

1、通过chardet检查自己数据的编码类型，方便后续转码

示例：chardet.detect(df['char_apply_education_info'][0])

2、默认中文编码格式：py2：utf-8，py3：unicode，其中py2默认使用ascii码读取源文件，所以程序文件开始还需声明：# encoding=utf8。

据说py2中在字符串前加u可以转换为unicode编码，不过我没太搞明白对我的用处。

还有个据说，设置sys的setdefaultencoding('utf8')，影响print输出格式，其中有篇文章做了很详细的分析，我觉得也没啥用。

import sys

reload(sys)

sys.setdefauleencoding('utf8')

3、py2编码的顺序（后续解决问题的关键）

str -> decode（根据指定编码格式解码） -> unicode -> encode（根据指定编码格式编码） -> str

py2中比较字符串时，如果A是unicode而B不是，那么将对B使用系统默认编码进行解码。

思路想清楚了其实很简单，分两步：

1、选取df中的object类变量做编码转换（注意先处理空值，不然会报错，空值没有decode方法）

示例：str(type(df['char_apply_education_info'])) == '''<type 'numpy.string_'>'''

应该是有更好的方法做类型判断，比如pandas自带的select等方法，项目时间有限，就先解决问题了。

2、查看数据编码格式差异，然后转换为同一种编码格式

示例：df['char_apply_education_info'][0].decode('gb2312').encode('utf8')

其中，gb2312是df的编码格式，utf8是model通过pickle读取到内存后的编码格式。

至于为什么转换df而不转换model，是因为在我这这么操作更方便，不能一概而论，但道理上是这样的，同一编码即可。