22.4-序列化和反序列化及pickle

一个人最重要的品质,是懂得克制,克制自己,不是冲动任性,克制自己的情绪。

而真正成熟的人,首先应该是一个懂得克制自己欲望的人!


总结:

  1. pickle库是一个很重要的库,它的思想在后面很多库中都有体现的;是一个必须要学的库!
  2. py2和py3 pickle协议可能是不同的;
  3. 游戏保存:内存数据的保存(序列化与反序列化), 游戏公司对Python需求比较大;
  4. 所有语言编程都要考虑序列化与反序列化,使用pickle来认识一下,json只是在某些方向,不是所有地方都用,json效率低下;
  5. 在序列化与反序列化中,类的属性方法是共有,不展示,在协议传输时必须一致; 实例 self是千变万化的、自己的,会展示出来;

内存中的字典、列表、集合以及各种对象,如何保存在一个文件中?

如何从文件中读取数据,并让它们在内存中再次恢复成自己对应的类的实例?
要设计一套协议,按照某种规则,把内存中数据保存到文件中。文件是一个字节序列,所以必须把数据转换成字节;

序列,输出到文件。这就是序列化。反之,从文件的字节序列恢复到内存,就是反序列化。

序列化

序列化:我们把变量从内存中变成可存储或传输的过程称之为序列化,在Python中叫pickling。序列化之后,就可以把序列化后的内容写入磁盘,或者通过网络传输到别的机器上。

反序列化:反过来,把变量内容从序列化的对象(字节序列)重新读到内存里称之为反序列化,即unpickling。

Python提供了pickle模块来实现序列化。

相关模块

本节要介绍的就是Python内置的几个用于进行数据序列化的模块:

模块名称 描述 提供的api
json 用于实现Python数据类型与通用(json)字符串之间的转换; 不是所有地方都用,json效率低下 dumps() 、dump() 、loads() 、 load()
pickle 用于实现Python数据类型与Python特定二进制格式之间的转换;不是一种很高效的协议序列化传输方案 dumps()、dump()、loads()、load()、
shelve 专门用于将Python数据类型的数据持久化到磁盘,shelve是一个类似dict的对象,操作十分便捷 open()

pickle模块

pickle模块实现了用于对Python对象结构进行 序列化 和 反序列化 的二进制协议,与json模块不同的是pickle模块序列化和反序列化的过程分别叫做pickling 和 unpickling:

pickling:是将Python对象转换为字节流的过程;
unpickling:是将字节流二进制文件或字节对象转换回Python对象的过程;

pickle模块提供的相关函数

pickle模块提供的几个序列化/反序列化的函数与json模块基本一致:

说明:上面这几个方法参数中,*号后面的参数都是Python 3.x新增的,目的是为了兼容Python 2.x,具体用法请参看官方文档。

# 将指定的Python对象通过pickle序列化作为bytes对象返回,而不是将其写入文件
dumps(obj, protocol=None, *, fix_imports=True)

# 将通过pickle序列化后得到的字节对象进行反序列化,转换为Python对象并返回
loads(bytes_object, *, fix_imports=True, encoding="ASCII", errors="strict")

# 将指定的Python对象通过pickle序列化后写入打开的文件对象中,等价于`Pickler(file, protocol).dump(obj)`
dump(obj, file, protocol=None, *, fix_imports=True)

# 从打开的文件对象中读取pickled对象表现形式并返回通过pickle反序列化后得到的Python对象
load(file, *, fix_imports=True, encoding="ASCII", errors="strict)
# 示例 dump 和 load 方法;
#内建方法;
i = int(99)
s = 'ABC'
l = {'a':0x111111,'b':'abcde','c':[123]}
import pickle

with open('./ser.txt','wb') as f:
    pickle.dump(i,f)  # 对象i ,文件f;
    pickle.dump(s,f)
    pickle.dump(l,f)
#---------------------------------------------------------------------------------------------------------
��Kc.��X�   ABCq .��}q (X�   aq�J��� X�   bq�X�   abcdeq�X�   cq�]q�K{au.

with open('./ser.txt','rb') as f:
    tmp = pickle.load(f)
    print(type(tmp),tmp)
    tmp = pickle.load(f)
    print(type(tmp),tmp)
    tmp = pickle.load(f)
    print(type(tmp),tmp)
#---------------------------------------------------------------------------------------------------------
<class 'int'> 99
<class 'str'> ABC
<class 'dict'> {'a': 1118481, 'b': 'abcde', 'c': [123]}


1.类的属性方法在序列化中不展示 ,在源代码中;
class AA:
    aaaa = 0x111111
    def show(self):
        print('abc')
        
x = AA()
print(x)

with open('./ser.txt','wb') as f:
    pickle.dump(x,f)  # 对象i ,文件f;
with open('./ser.txt','rb') as f:
    a = pickle.load(f)
    print(type(a),hex(a.aaaa))
    a.show()
#------------------------------------------------------------
<__main__.AA object at 0x000002704F7E8E48>
<class '__main__.AA'> 0x111111
abc

2. 序列化与反序列化 两边定义的类.方法要一致;

#序列化写入
class AA:
    aaaa = 0x111111
    def show(self):
        print('abc')
        
x = AA()

ser = pickle.dumps(x)
print(ser)

with open('./ser.txt','wb') as f:
    f.write(ser)
    
with open('./ser.txt','rb') as f:
    a = pickle.load(f)
    print(type(a),hex(a.aaaa))
    a.show()
#--------------------------------------------------
b'\x80\x03c__main__\nAA\nq\x00)\x81q\x01.'
<class '__main__.AA'> 0x111111
abc

# 反序列化解读
class AA:
    aaaa = 60000
    def show(self):
        print('xyz123')
        
with open('./ser.txt','rb') as f:
    a1 = pickle.load(f)
    print((a1.aaaa))
    a1.show()
#--------------------------------------------------
60000
xyz123


3. 类都是公有的,不展示;每一个self都是一个实例(千变万化);都是自己的特征,会被序列化;
class AA:
    bbbb = 222   # 类都是公有的,不展示
    def __init__(self):
        self.aaaa = 0x111111   # 每一个self都是一个实例;都是自己的特征;
        
x = AA()

ser = pickle.dumps(x)
print(ser)

with open('./ser.txt','wb') as f:
    f.write(ser)
#----------------------------------------------------------------------------------------------
b'\x80\x03c__main__\nAA\nq\x00)\x81q\x01}q\x02X\x04\x00\x00\x00aaaaq\x03J\x11\x11\x11\x00sb.'

序列化应用——效率问题

一般来说,本地序列化的情况,应用较少。大多数场景都应用在网络传输中。

将数据序列化后通过网络传输到远程节点,远程服务器上的服务将接收到的数据反序列化后,就可以使用了。

但是,要注意一点,远程接收端,反序列化时必须有对应的数据类型,否则就会报错。尤其是自定义类,必须远程得有一致的定义。

现在,大多数项目,都不是单机的,也不是单服务的。需要通过网络将数据传送到其他节点上去,这就需要大量的序列化、反序列化过程。

但是,问题是,Python程序之间还可以都是用pickle解决序列化、反序列化,如果是跨平台、跨语言、跨协议pickle就不太适合了,就需要公共的协议。例如XML、Json、Protocol Buffer等,协议非常多。

不同的协议,效率不同、学习曲线不同,适用不同场景,要根据不同的情况分析选型。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,427评论 6 508
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,551评论 3 395
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 165,747评论 0 356
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,939评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,955评论 6 392
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,737评论 1 305
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,448评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,352评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,834评论 1 317
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,992评论 3 338
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,133评论 1 351
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,815评论 5 346
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,477评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,022评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,147评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,398评论 3 373
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,077评论 2 355