python爬虫day-15(MySQL存储)

个人学习笔记,方便自己查阅,仅供参考,欢迎交流

MySQL存储

本节其实是靠后的内容,个人翻到比较感兴趣提前看了。

1.链接数据库

host:IP/user:用户名/password:密码/port:运行端口(默认:3306)

#链接数据库,获得版本号。
import pymysql

db = pymysql.connect(host='IP',user='用户名',
                     password='密码',port = 3306(默认))
cursor = db.cursor()
cursor.execute('SELECT VERSION()')
data = cursor.fetchone()
print('Database version:',data)
db.close()
#输出结果:Database version: ('5.1.73',)

问题:个人数据库,不是本地的,用的是阿里云送的,不知道如何创建数据库。创建一直报错,目前没有找到原因。

2.创建表

#创建一个名为students的数据表
import pymysql

db = pymysql.connect(host='IP',user='用户名',
                     password='密码',port = 3306(默认),db = '数据库名')
cursor = db.cursor()
sql = 'create table if not exists students (id varchar(36) not null,\
       name varchar(36) not null,age int not null ,primary key(id) )'
cursor.execute(sql)
db.close()

3.插入数据

先构造了一个 SQL 语句,选择直接用格式 %s 来实现。

#插入数据
import pymysql
id = '20190101'
user = 'yunan'
age = '18'

db = pymysql.connect(host='IP',user='用户名',
                     password='密码',port = 3306(默认),db = '数据库名')
cursor = db.cursor()
sql ='insert into students(id,name,age) values(%s,%s,%s)'
try:
    cursor.execute(sql,(id,user,age))
    db.commit()

except:
#如果执行失败,调用rollback()执行数据回滚
    db.rollback()
db.close()
  • 异常处理
    如果执行失败,则调用 rollback()执行数据回滚,相当于什么都没有发生过。
    事务的4个属性:原子性,一致性,隔离性,持久性。
  • 传入一个字典来插入数据
import pymysql

db = pymysql.connect(host='IP',user='用户名',
                     password='密码',port = 3306(默认),db = '数据库名')
cursor = db.cursor()
data = {
        'id':'20190104',
        'name':'fengzi',
        'age':'18'
        }
table ='students'
keys =','.join(data.keys())
values =','.join(['%s']*len(data))
sql = 'INSERT INTO {table}({keys}) VALUES ({values})'.\
       format(table=table,keys=keys,values=values)
print (sql)
try:
    if  cursor.execute(sql,tuple(data.values())):
        print('Successful')
        db.commit()

except:
    print('Failed')
    db.rollback()
db.close()

传入的数据是字典,表名定义成变量,构造一个动态的SQL语句。

4.更新数据

  • 数据更新操作实际上也是执行 SQL 语句
import pymysql

db = pymysql.connect(host='IP',user='用户名',
                     password='密码',port = 3306(默认),db = '数据库名')
cursor = db.cursor()
sql = 'UPDATE students SET age =%s WHERE name =%s'
try :
    cursor.execute(sql,(25,'cike'))
    db.commit()
except:
    db.rollback()
db.close()
  • 实际爬虫:如果数据存在, 则更新数据;如果数据不存在,则插
    入数据。

5.删除操作

7.查询数据

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 219,928评论 6 509
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 93,748评论 3 396
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 166,282评论 0 357
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 59,065评论 1 295
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 68,101评论 6 395
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,855评论 1 308
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,521评论 3 420
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 39,414评论 0 276
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,931评论 1 319
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 38,053评论 3 340
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 40,191评论 1 352
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,873评论 5 347
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,529评论 3 331
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 32,074评论 0 23
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 33,188评论 1 272
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 48,491评论 3 375
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 45,173评论 2 357

推荐阅读更多精彩内容