今日问题：读取数据库表的全部内容，保存到json中
分析：
python读取数据库
python读取数据库有一下两种方式。
- 使用pymysql库，来连接数据库，写对应的sql语句获取数据。
- 使用sqlalchemy来构建数据与对象之间的关系，通过pandas来读取数据。
内容保存为json
- 引用json库来实现保存文件。其中会遇到汉字为其它编码的问题。
- 写入文件的json格式的还原
ORM技术
ORM（Object-Relational Mapping，对象关系映射）技术：指的是把关系数据库的表结构映射到对象上，通过使用描述对象和数据库之间映射的元数据，将程序中的对象自动持久化到关系数据库中。
在Python中，最有名的ORM框架是SQLAlchemy。Java中典型的ORM中间件有:Hibernate,ibatis,speedframework。
SQLAlchemy
SQLAlchemy是Python编程语言下的一款开源软件。提供了SQL工具包及对象关系映射（ORM）工具。可以使用“pip install sqlalchemy” 安装SQLAlchemy模块
SQLAlchemy模块提供了create_engine()函数用来初始化数据库连接，SQLAlchemy用一个字符串表示连接信息：
'数据库类型+数据库驱动名称://用户名:口令@机器地址:端口号/数据库名'
Pandas读写MySQL数据库
我们需要以下三个库来实现Pandas读写MySQL数据库：
- pandas
- sqlalchemy
- pymysql
其中，pandas模块提供了read_sql_query（）函数实现了对数据库的查询，to_sql（）函数实现了对数据库的写入，并不需要实现新建MySQL数据表。sqlalchemy模块实现了与不同数据库的连接，而pymysql模块则使得Python能够操作MySQL数据库。
json 和dict 互换
import requests
import json
#json字符串转换成字典
dictdata = json.loads(json_str)
字典转换成json字符串
jsondata = json.dumps(dict)
读取mysql数据源码
# -*- coding: utf-8 -*-
# 王国的荣耀
#导入numpy、pandas、json包
import os
import json
import pandas as pd
import numpy as np
from sqlalchemy import create_engine
class DataConvert:
def saveContent(self, path,content):
try:
if not os.path.exists(path):
with open(path, "w", encoding='utf-8') as f:
f.write(content + "\n")
else:
with open(path, "a", encoding='utf-8') as f:
f.write(content + "\n")
except Exception as e:
print("error==>", e)
def save_file(self, path, item):
# 先将字典对象转化为可写入文本的字符串
# son.dumps序列化时候对中文默认使用的ascii编码，想要输出真正的中文需要指定ensure_ascii=False
item = json.dumps(item,ensure_ascii=False)
try:
if not os.path.exists(path):
with open(path, "w", encoding='utf-8') as f:
f.write(item + ",\n")
else:
with open(path, "a", encoding='utf-8') as f:
f.write(item + ",\n")
except Exception as e:
print("error==>", e)
def dataConv(self):
path = "demodata.json"
self.saveContent(path, '[')
#初始化数据库连接，使用pymysql模块
# MySQL的用户：root, 密码:test, 端口：3306,数据库：mydb
engine = create_engine('mysql+pymysql://root:test@localhost:3306/webbook')
# 查询语句，选出employee表中的所有数据
sql = '''select * from demo;'''
# read_sql_query的两个参数: sql语句， 数据库连接
df = pd.read_sql_query(sql, engine)
column_list = list(df.columns)
data = np.array(df)
try:
for row in data:
# 循环每一行数据，组装成一个字典，然后得到字典的列表
item = dict(zip(column_list, list(row)))
# 导入json,将列表转为json字符串
rowd = {'name':item['name'],'imageurl':item['imageurl']}
self.save_file(path, rowd)
except Exception as ex:
print(ex)
# print(df)
print('Read to Mysql table successfully!')
self.saveContent(path, ']')
if __name__ == '__main__':
data = DataConvert()
data.dataConv()
python zip 函数
zip() 函数用于将可迭代的对象作为参数，将对象中对应的元素打包成一个个元组，然后返回由这些元组组成的列表。
如果各个迭代器的元素个数不一致，则返回列表长度与最短的对象相同，利用 * 号操作符，可以将元组解压为列表。
语法
zip 语法：
参数说明：
- iterabl -- 一个或多个迭代器;
返回值
返回元组列表。
实例
以下实例展示了 zip 的使用方法：
a = [1,2,3]
b = [4,5,6]
c = [4,5,6,7,8]
# 打包为元组的列表
zipped = zip(a,b)
[(1, 4), (2, 5), (3, 6)]
# 元素个数与最短的列表一致
zip(a,c)
[(1, 4), (2, 5), (3, 6)]
# 与 zip 相反，*zipped 可理解为解压，返回二维矩阵式
zip(*zipped)
[(1, 2, 3), (4, 5, 6)]
python 遍历文件夹，文件排序需求
import os
fileList = os.listdir('TestDir')
fileList
['test1.txt', 'test10.txt', 'test11.txt', 'test2.txt', 'test23.txt', 'test28.txt']
fileList.sort(key= lambda x:int(x[4:-4]))
fileList
['test1.txt', 'test2.txt', 'test10.txt', 'test11.txt', 'test23.txt', 'test28.txt']
#pip install natsort
#Collecting natsort
#Downloading natsort-7.0.1-py3-none-any.whl (33 kB)
#Installing collected packages: natsort
#Successfully installed natsort-7.0.1
import os
import natsort
fileList = os.listdir('TestDir')
fileList
['test1.txt', 'test10.txt', 'test11.txt', 'test2.txt', 'test23.txt', 'test28.txt']
fileList = natsort.natsorted(fileList)
fileList
['test1.txt', 'test2.txt', 'test10.txt', 'test11.txt', 'test23.txt', 'test28.txt']
参考：
https://www.cnblogs.com/HondaHsu/p/12664831.html
https://www.cnblogs.com/baxianhua/p/8072824.html
