问题描述

读取一个字符串test_str，字符串是一个嵌套的json串，且含有list类型数据，其中含有中文。我需要抽取其中的某些字段，存于一个新的文件。

>>>test_str='{"username":"tom","hobby":["足球","篮球","乒乓球"]}'

最开始使用json.loads(test_str)

>>>import json
>>>json.loads(test_str)
>>>{u'username': u'tom', u'hobby': [u'\u8db3\u7403', u'\u7bee\u7403', u'\u4e52\u4e53\u7403']}

得到结果，数据前面都加上了 u，中文也变成了'\u8db3\u7403'之类的。
很明显又碰到了python2中文编码的坑，于是网上搜索解决办法。
试了一些方法，都无效或者报错：

'ascii' codec can't encode character u'\u2019'

尝试过的无效解决方法1

在代码开头加：
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

尝试过的无效解决方法2

['hobby'][0].decode('unicode-escape')
或者
['hobby'][0].decode('utf-8')
等等一些encode('gbk')之类的

尝试过的无效解决方法3

在代码开头加：
# -- coding: utf-8 --

解决方案

后来搜索发现，josn.loads会默认将数据load成Unicode对象
转换搜索方向，从这里发现两个可行方法：

解决方法1

使用PyYaml包，但是只能将最外层的数据编码格式转换正确，里层的还是unicode编码：
>>>aml.safe_load(test_str)
{'username': 'tom', 'hobby': [u'\u8db3\u7403', u'\u7bee\u7403', u'\u4e52\u4e53\u7403']}

解决方法2

使用如下代码彻底解决,，数据存储到文件里还是乱码，但是读出来可以中文显示：
>>>data = json_loads_byteified(r)
>>>data
{'username': 'tom', 'hobby': ['\xe8\xb6\xb3\xe7\x90\x83', '\xe7\xaf\xae\xe7\x90\x83', '\xe4\xb9\x92\xe4\xb9\x93\xe7\x90\x83']}
>>>print data['hobby'][0]
足球

import json

def json_load_byteified(file_handle):
    return _byteify(
        json.load(file_handle, object_hook=_byteify),
        ignore_dicts=True
    )

def json_loads_byteified(json_text):
    return _byteify(
        json.loads(json_text, object_hook=_byteify),
        ignore_dicts=True
    )

def _byteify(data, ignore_dicts = False):
    # if this is a unicode string, return its string representation
    if isinstance(data, unicode):
        return data.encode('utf-8')
    # if this is a list of values, return list of byteified values
    if isinstance(data, list):
        return [ _byteify(item, ignore_dicts=True) for item in data ]
    # if this is a dictionary, return dictionary of byteified keys and values
    # but only if we haven't already byteified it
    if isinstance(data, dict) and not ignore_dicts:
        return {
            _byteify(key, ignore_dicts=True): _byteify(value, ignore_dicts=True)
            for key, value in data.iteritems()
        }
    # if it's anything else, return it in its original form
    return data