前言
- 想将爬虫得到得数据持久化保存起来，而且又能够方便的与其他主机进行分享，数据库是一个很不错的选择。mysql是一种开源的关系型数据库，应用非常广泛。本文介绍如何使用python3进行mysql数据库操作。
- 要使用python3进行数据库操作需要先安装第三方库pymysql，安装如下：
pip3 install pymysql
- 安装成功后就可以使用pymysql愉快的玩耍了
连接
- 连接mysql数据库直接使用pymysql.connect，前提是要先开启mysql数据库
import pymysql
db = pymysql.connect(host="your_host",user="your_user_name",password = "your_passwd",port = "your_port")
cursor = db.cursor()
- mysql的默认端口是3306，cursor = db.cursor()是获取当前游标，后面的增删查改都要借助cursor游标。
建库
- 使用cursor游标执行mysql语句"CREATE DATABASE [your_db_name] DEFAULT CHARATER SET [coding_style]"
cursor.execute("CREATE DATABASE [your_db_name] DEFAULT CHARATER SET [coding_style]")
- DATABASE后面跟上你想创建的数据库名称，DEFAULT CHARATER SET 设置元素编码方式，常用为"utf-8"
建表
- 一个数据库可以包含若刚个table表，例如一个名为果蔬的数据库可以包含蔬菜表和水果表，水果表里存有哈密瓜，蜜桃，西瓜......
- 建表同样使用cursor执行建表语句：
sql = 'CREATE TABLE IF NOT EXISTS [your_table_name] ( [argu_name1] [argu_type], [argu_name2] [argu_type]......)'
- 下面创建一个包含年龄和姓名字段的工人表做示例：
sql = 'CREATE TABLE IF NOT EXISTS workers (age VARCHAR(255) NOT NULL, name INT NOT NULL)'
cursor.execute(sql)
插入数据
- 现在我们往刚刚创建的workers表中插入工人Joey的信息，插入字段包含有Joey的年龄和姓名。
import pymysql
db = pymysql.connect(host="your_host",user="your_user_name",password = "your_passwd",port = "your_port")
cursor = db.cursor()
name = 'Joey'
age = 23
sql = 'INSERT INTO workers(age,name) VALUES(%s,%s)'
try:
cursor.execute(sql,(age,name))
db.commit()
except:
db.rollback()
db.close()
- 和建表不同的是，插入需要调用commit方法，才算真正执行插入操作。当然插入也有可能不成功，所以抛出异常中调用里rollback方法让数据回滚，相当撤回数据插入操作。
- 当然如果插入的数据已经存在，而我们想更新元素，那么可以在稍微修改一下插入语句：
sql = 'INSERT INTO workers(age,name) VALUES(%s,%s) ON DUPLICATE KEY UPDATE age = %s, name = %s'
修改数据
- 接下来修改Joey的年龄为17岁
sql = 'UPDATE workers SET age = %s WHERE name = %s'
try:
cursor.execute(sql,(17,'Joey'))
db.commit()
except:
d.rollback()
删除数据
- 删除worker数据中年龄小于18岁的工人
sql = 'DELETE FROM workers WHERE age < 18'
try:
cursor.execute(sql)
cursor.commit()
except:
db.rollback()
查询数据
- 为了检查删除数据是否成功，我们可以查询下数据库中小于18岁的员工信息。
sql = 'SELECT * FROM students WHERE age < 18'
cursor.execute(sql)
print(cursor.rowcount())
print(cursor.fetchall())
- cursor.rowcount()输出查询结果条数，cursor.fetchall()表示满足查询条件的条目信息。
关闭连接
- db.close()
后记
- pymysql的使用还是挺方便的，不过相对于mysql，非关系型数据库mongodb，redis用来存储爬虫数据更加合适。当然python也有相应的第三方模块pymongo，和redis-py。下一节更新pymongo的使用。
-
If any questio about this page，please leave a message
皮一下很开心
