Mysql数据存储
1、Mysql数据库安装
网上很多
1、单独下载MYSQL数据库https://jingyan.baidu.com/article/363872ec2e27076e4ba16fc3.html
2、ASMServ包含了Apache+PHP+Msql+Asp集成安装，图形界面启动服务。
3、navicat for mysql，破解游戏的大佬最喜欢用的包含图形界面。
我选择的一，不臃肿。
2、Mysql链接数据库
我们首先尝试链接数据库，数据库在本地运行，用户名：root，密码：root，运行端口：3306。我们利用包PyMySQL链接数据库，然后创建一个新的数据库spider，代码如下
import pymysql
# 打开数据库链接
db = pymysql.connect(host='localhost', user='root', password='root', port=3306)
# 使用cursor()方法创建一个游标对象cursor
cursor = db.cursor()
# 使用execute() 方法执行SQL查询
cursor.execute('SELECT VERSION()')
# 使用fetchone() 方法获取单条数据。
data = cursor.fetchone()
print('Database version: %s' % data)
# cursor.execute('CREATE DATABASE spiders DEFAULT CHARACTER SET utf8')
# 关闭数据库
db.close()
代码中提到了游标，什么是游标呢？
游标：MySQL的游标（cursor）是一个重要的概念，通过查找资料与自己的理解，主要得出以下几点关于自己的理解。
有数据缓冲的思想：游标的设计是一种数据缓冲区的思想，用来存放SQL语句执行的结果。 先有数据基础：游标是在先从数据表中检索出数据之后才能继续灵活操作的技术。 类似于指针：游标类似于指向数据结构堆栈中的指针，用来pop出所指向的数据，并且只能每次取一个。
在创建新数控库spiders失败，想起是昨天已经创立过
3、创建表
代码如下
# 链接数据库
db = pymysql.connect(host='localhost', user='root', password='root', db='spiders')
# 创建游标对象
cursor = db.cursor()
sql = 'CREATE TABLE IF NOT EXISTS students (id VARCHAR(255)NOT NULL ,name VARCHAR (255)NOT NULL , age INT NOT NULL ,' \
'PRIMARY KEY(id))'
cursor.execute(sql)
db.close()
简单的创建了几个字段
4、插入数据
我们将数据解析出来后的下一步就是向数据库中插入数据了，例如在这里我们爬取了一个的学生信息，学号为2018.5.16，名字为 Bob，年龄为 20，那么如何将该条数据插入数据库呢，实例代码如下：
完整代码如下：
id = '2018.5.16'
name = 'BOB'
age = 20
db = pymysql.connect(host='localhost', user='root', password='root', db='spiders')
cursor = db.cursor()
sql = 'INSERT INTO students(id, name, age)values(%s,%s,%s)'
try:
cursor.execute(sql, (id, name, age))
db.commit()
except:
db.rollback()
db.close()
在这里我们首先构造了一个 SQL 语句，其 Value 值我们没有用字符串拼接的方式来构造，如：
sql = 'INSERT INTO students(id, name, age) values(' + id + ', ' + name + ', ' + age + ')'
这样的写法繁琐而且不直观，所以我们选择直接用格式化符 %s 来实现，有几个 Value 写几个 %s，我们只需要在 execute() 方法的第一个参数传入该 SQL 语句，Value 值用统一的元组传过来就好了。
这样的写法有既可以避免字符串拼接的麻烦，又可以避免引号冲突的问题。
之后值得注意的是，需要执行 db 对象的 commit() 方法才可实现数据插入，这个方法才是真正将语句提交到数据库执行的方法，对于数据插入、更新、删除操作都需要调用该方法才能生效。
接下来我们加了一层异常处理，如果执行失败，则调用rollback() 执行数据回滚，相当于什么都没有发生过一样。
在这里就涉及一个事务的问题，事务机制可以确保数据的一致性，也就是这件事要么发生了，要么没有发生，比如插入一条数据，不会存在插入一半的情况，要么全部插入，要么整个一条都不插入，这就是事务的原子性，另外事务还有另外三个属性，一致性、隔离性、持久性，通常成为 ACID 特性。+
归纳如下：
插入、更新、删除操作都是对数据库进行更改的操作，更改操作都必须为一个事务，所以对于这些操作的标准写法就是：
try:
cursor = db.cursor()
db.commit()
except:
db.roollback()
这样我们便可以保证数据的一致性，在这里的 commit() 和 rollback() 方法就是为事务的实现提供了支持。
好，在上面我们了解了数据插入的操作，是通过构造一个 SQL 语句来实现的，但是很明显，这里有一个及其不方便的地方，比如又加了一个性别 gender，假如突然增加了一个字段，那么我们构造的 SQL 语句就需要改成：
INSERT INTO students(id, name, age,gender)values(%s, %s, %s,%s)
相应的元组参数则需要改成：
(id, name, age, gender)
这显然不是我们想要的，在很多情况下，我们要达到的效果是插入方法无需改动，做成一个通用方法，只需要传入一个动态变化的字典给就好了。比如我们构造这样一个字典：
{
'id': '20120001',
'name': 'Bob',
'age': 20
}
然后 SQL 语句会根据字典动态构造，元组也动态构造，这样才能实现通用的插入方法。所以在这里我们需要将插入方法改写一下：
data = {
'id': '20120001',
'name': 'Bob',
'age': 20
}
table = 'students'
keys = ', '.join(data.keys())
values = ', '.join(['%s'] * len(data))
sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.format(table=table, keys=keys, values=values)
try:
if cursor.execute(sql, tuple(data.values())):
print('Successful')
db.commit()
except:
print('Failed')
db.rollback()
db.close()
Python join()方法
Python join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串
在这里我们传入的数据是字典的形式，定义为 data 变量，表名也定义成变量 table。接下来我们就需要构造一个动态的 SQL 语句了。
首先我们需要构造插入的字段，id、name 和 age，在这里只需要将data的键名拿过来，然后用逗号分隔即可。所以 ', '.join(data.keys()) 的结果就是 id, name, age，然后我们需要构造多个 %s 当作占位符，有几个字段构造几个，比如在这里有两个字段，就需要构造 %s, %s, %s ，所以在这里首先定义了长度为 1 的数组 ['%s'] ，然后用乘法将其扩充为 ['%s', '%s', '%s']，再调用 join() 方法，最终变成 %s, %s, %s。所以我们再利用字符串的 format() 方法将表名，字段名，占位符构造出来，最终sql语句就被动态构造成了
INSERT INTO students(id, name, age) VALUES (%s, %s, %s)
最后再 execute() 方法的第一个参数传入 sql 变量，第二个参数传入 data 的键值构造的元组，就可以成功插入数据了。
如此以来，我们便实现了传入一个字典来插入数据的方法，不需要再去修改 SQL 语句和插入操作了。
5、更新数据
数据更新操作实际上也是执行 SQL 语句，最简单的方式就是构造一个 SQL 语句然后执行：
db = pymysql.connect(host='localhost', user='root', password='root', db='spiders')
cursor = db.cursor()
sql = 'UPDATE students SET age = %s WHERE name = %s'
try:
cursor.execute(sql, (25, 'AA'))
db.commit()
except:
db.rollback()
db.close()
