1、pickle
1.1 简介
- pickle可以将字符串、列表、字典等数据保存在文件中，同时也可以从文件中重新加载这些数据。
- 常见的四个函数：
-
pickle.dump(obj, file)将字符串等对象保存到文件中; -
pickle.load(file)从文件中加载数据; -
pickle.dumps(obj)将字符串等对象序列化成string形式； -
pickle.loads(string)将string反序列化成原来的obj对象。 - 总结：涉及到文件的不带s；涉及到字符串的带s。
-
1.2 实例
1）对字典进行dump和load操作
# pickle_dump_load.py
import pickle
a = {"name": "Tom", "age": 10}
with open("text.pkl", "wb") as file:
pickle.dump(a, file)
with open("text.pkl", "rb") as file:
b = pickle.load(file)
print("b type: ", type(b))
print("b: ", b)
第1行，当前程序的文件名称为pickle_dump_load.py。
第2行，导入序列化需要的模块pickle。
第4行，创建包含两个键值对的字典a。
第5行，打开名称为text.pkl的文件（如果当前路径下不存在，则自动创建）；"wb"表示对文件进行“写入”操作；file代表当前打开的该文件对象，可自由命名。
第6行，将字典对象a写入到文件file中。
第7行，打开当前路径下的text.pkl文件；"rb"表示对文件进行“读入操作”。
第8行，从文件file中读入内容，并存储在b中。
第10-11行，显示对象b的类型和内容。
⚠️ 第5行、第7行一定要是'wb'和'rb'，如果只是'w'和'r'会报错。
OUT：
b type: <class 'dict'>
b: {'name': 'Tom', 'age': 10}
2）对列表进行dumps和loads操作
# pickle_dumps_loads.py
import pickle
info = [1, 2, 3, 'abc']
data1 = pickle.dumps(info)
data2 = pickle.loads(data1)
print("原始数据 info: ", info)
print("序列化后数据 data1: ", data1)
print("反序列化后数据 data2: ", data2)
第1行，当前程序的文件名称为pickle_dumps_loads.py。
第2行，导入序列化需要的模块pickle。
第4行，创建一个列表，命名为info。
第5-6行，将info序列化成data1，将data1反序列化成data2。
第8-10行，显示info、data1、data2。
OUT:
原始数据 info: [1, 2, 3, 'abc']
序列化后数据 data1: b'\x80\x03]q\x00(K\x01K\x02K\x03X\x03\x00\x00\x00abcq\x01e.'
反序列化后数据 data2: [1, 2, 3, 'abc']
2、yaml
YAML是一种直观的能够被电脑识别的的数据序列化格式，容易被人类阅读，并且容易和脚本语言交互。YAML类似于XML，但是语法比XML简单得多，对于转化成数组或可以hash的数据时是非常简单有效的。
常见的四个函数：
-
yaml.load()将yaml文件转成python对象 -
yaml.dump()将python对象转成yaml文件 -
yaml.dump_all()将多个python对象生成到一个yaml文件中 -
yaml.load_all()将一个含有多个python对象的yaml文件转成多个python对象
2.1 通过yaml.load()方法将yaml文件转成python对象
1）yaml文件转字典对象，冒号（:）
# config_dict.yaml
name: 灰蓝
age: 0
job: Tester
可以转成：
{'name': '灰蓝', 'age': 0, 'job': 'Tester'}
2）yaml文件转列表对象，短线（-）
# config_list.yaml
- 灰蓝
- 0
- Tester
可以转成：
['灰蓝', 0, 'Tester']
3）yaml文件转字典和列表的复合结构对象
3.1）外层是列表、里层是字典
# config_list_dict.yaml
- name: 灰蓝
age: 0
- name: James
age: 30
可以转成:
[{'name': '灰蓝', 'age': 0}, {'name': 'James', 'age': 30}]
从文件config_list_dict.yaml中可以看出：
- 最外层是两条短线（-），表示列表；
- 次外层是键值对形式（:），表明是字典；
- 所以输出结果中，外层是列表，里面有两项，例如
{'name': '灰蓝', 'age': 0},{'name': 'James', 'age': 30}；里面的每一项均是字典，字典中有两个键值对。
3.2）外层是字典、里层是列表
# config_dict_list.yaml
name:
- 灰蓝
- James
age:
- 0
- 30
可以转成：
{'name': ['灰蓝', 'James'], 'age': [0, 30]}
从文件config_dict_list.yaml可以看出：
- 最外层是键值对形式（:），表示字典；次外层是短线（-），表示列表；
- 所以输出结果中，外层是字典，包含两个键值对
name': ['灰蓝', 'James']和'age': [0, 30]；里层每个键值对的值是列表，例如第一个键值对的值为['灰蓝', 'James']。
4）python实现将一个较为复杂的字典、列表复合的yaml文件转成python对象的过程。
# config.yaml
name: Tom Smith
age: 37
spouse:
name: Jane Smith
age: 25
children:
- name: Jimmy Smith
age: 15
- name1: Jenny Smith
age1: 12
# test_yaml.py
import yaml
f = open('config.yml')
y = yaml.load(f)
print (y)
OUT:
{'name': 'Tom Smith', 'age': 37, 'spouse': {'name': 'Jane Smith', 'age': 25}, 'children': [{'name': 'Jimmy Smith', 'age': 15}, {'name1': 'Jenny Smith', 'age1': 12}]}
整理后的输出结果：
{
'name' : 'Tom Smith',
'age' : 37,
'spouse' : {'name': 'Jane Smith',
'age' : 25},
'children': [{'name': 'Jimmy Smith',
'age' : 15},
{'name1':'Jenny Smith',
'age1' : 12}]
}
通过整理后的输出结果与config.yaml文件的对比就可以找到test_yaml.py是怎样对config.yaml文件进行解析。
2.2 通过yaml.dump()将python对象生成yaml文件
import yaml
a = {'name': 'Tom Smith', 'age': 37, 'spouse': {'name': 'Jane Smith', 'age': 25}, 'children': [{'name': 'Jimmy Smith', 'age': 15}, {'name1': 'Jenny Smith', 'age1': 12}]}
f = open('config.yaml', 'w') # 'w'表示写入文件
yaml.dump(a, f)
OUT:
2.3 通过 yaml.dump_all() 将多个python对象生成到一个yaml文件中
import yaml
obj1 = {"name": "James", "age": 20}
obj2 = ["Lily", 19]
with open('config.yaml', 'w') as f:
yaml.dump_all([obj1, obj2], f)
查看文件config.yaml中的文件内容如下：
age: 20
name: James
---
- Lily
- 19
2.4 通过yaml.load_all() 将一个含有多个python对象的yaml文件转成多个python对象
import yaml
f = '''
name: James
age: 20
---
name: Lily
age: 19
'''
y = yaml.load_all(f)
for data in y:
print(data)
⚠️y = yaml.load_all(f) 中，生成的f是迭代器，所以通过循环方式进行打印。
⚠️f中包含的两个对象以 (---)进行分割
OUT：
{'name': 'James', 'age': 20}
{'name': 'Lily', 'age': 19}
3、json文件
JSON数据全称是JavaScript Object Notation编码格式的数据。
python中的json模块模块提供了一种很简单的方式来编码和解码JSON数据。
3.1 json.dumps() 和 json.loads()
- 函数末尾有s，针对于字符串；
-
json.dumps()将python对象（列表、字典等）转变成json字符串； -
json.loads()将json字符串转变成python对象
实例：
import json
data1 = {
'name': 'ACME',
'shares': 100,
'price': 542.23
}
json_str = json.dumps(data1)
data2 = json.loads(json_str)
print('data1: ', data1)
print('json_str: ', json_str)
print('data2: ', data2)
print('data1 type: ', type(data1))
print('json_str type: ', type(json_str))
print('data2 type: ', type(data2))
第1行，导入json模块。
第3-7行，创建字典data1。
第9行，通过json.dumps()方法将data1转成json字符串，并将其存储在json_str中。
第10行，将json_str字符串转成对应的python对象，存储于data2中。
第12-18行，打印出data1、json_str、data2的值及对应的类型。
OUT:
data1: {'name': 'ACME', 'shares': 100, 'price': 542.23}
json_str: {"name": "ACME", "shares": 100, "price": 542.23}
data2: {'name': 'ACME', 'shares': 100, 'price': 542.23}
data1 type: <class 'dict'>
json_str type: <class 'str'>
data2 type: <class 'dict'>
3.2 json.dump() 和json.load()
- 函数末尾没有s，针对于文件
-
json.dump(obj, file)将python对象存储于文件file中； -
json.load(file)从文件file中加载出python对象。
实例：
import json
data1 = {
'name': 'ACME',
'shares': 100,
'price': 542.23
}
# Writing JSON data
with open('data.json', 'w') as f:
json.dump(data1, f)
# Reading data back
with open('data.json', 'r') as f:
data2 = json.load(f)
print("data1 == data2: ", data1 == data2)
OUT:
data1 == data2: True
第10行，打开文件data.json（当前目录下如果不存在data.json，则创建）；'w'表示对文件data.json进行“写入”操作。
第11行，将data1字典写入到文件中。
第14行，与第10行正好相反；'r'表示对文件data.json进行“读取”操作。
第15行，从文件中读取内容，并存储到data2中。
第17行，判断data1和data2是否一直，输出结果显示二者相等。
