python实现数据库varchar字段自动裁剪入库

问题描述
数据存储过程中,部分字符串过长,超出数据库所设置的最大长度,从而导致数据插入失败。

解决办法
方案一:加大数据库字段长度,以适应数据要求。
方案二:据说可以在数据库(mysql)层面作处理,更改某些配置即可,不大懂。
方案三:裁剪数据,使得长度在数据库范围之内。

简单分析
以上三个方案都能避免数据丢失,数据库出错的问题。但方法各有好处和不足。

对于方案一,是一个最直接的方法。但是这样处理有点治标不治本,下次又出现更长的字符串呢?另外,此方法适合在开发阶段去更改数据库字段长度,对于已上线的代码,不建议去更改数据库表结构,特别是当数据库对应表的数据很大的时候。(另,普及一个小知识点,数据库的varchar类型所设置的长度是最大允许长度,并非实际占用的存储空间大小。实际存储空间大小由实际插入字符长度决定)

再来看看方案二,同样是在数据库层面作修改,但不再是更改表结构,而是更改数据库模式为非严格模式。原理如图:


图片来源:http://blog.csdn.net/gulingeagle/article/details/17186581

因为数据库配置方面不大懂,也没试过,所以对于方案二不作其他分析。

方案三则是更改代码,在插入数据库之前对值进行裁剪,使得字符串长度满足数据库要求。是一种比较适合已上线项目的方案。一是不用冒着风险去更改数据库结构,二是相对来说,算是从根源上解决了数据过长,数据插入失败的问题。当然,因为裁剪了字符串,该方案依然会使得信息部分丢失。具体用那个方案解决,视具体情况而定。

方案三的pony orm解决过程
方法一:将字符串长度可能过长的地方都加上字符串长度检查并裁剪过长的字符。
方法二:通用解决方法,在orm执行之前,根据模型定义的长度自动作裁剪。

明显,方案二更简洁、更智能。不用满项目的去找可能过长的地方。

具体操作为:
在模型定义的时候,继承并重写init方法,具体代码为:

class TestTable(db.Entity):
   def __init__(self, *args, **kwargs):
       for field in getattr(type(self), '_columns_without_pk_'):  # 读取模型定义的所有字段
           field_type = getattr(type(self), field).py_type  # 获取字段类型
           if field_type == str:
               cur_value = kwargs.get(field)  # 获取传入的字符串
               if not cur_value:
                   continue
               params = getattr(type(self), field).args  # 获取字段设置的参数
               str_len = 255  # 默认的str类型的最大长度
               if params:
                   str_len = params[0]  # 获取设置的str类型字段允许的最大长度
                       
               if len(cur_value) > str_len:  # 对超标的字符串进行裁剪
                   kwargs[field] = cur_value[:str_len]
       
       super(db.Entity, self).__init__(*args, **kwargs)
       
   name = Required(str, 4, index=True)
   desc = Optional(str, 10)

这样定义的数据库模型就支持自动裁剪了。以上代码仅作原理展示,为更简洁的书写,可以将以上逻辑转化为装饰器,并加上合理的try语句。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,911评论 5 460
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 82,014评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 142,129评论 0 320
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,283评论 1 264
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,159评论 4 357
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,161评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,565评论 3 382
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,251评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,531评论 1 292
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,619评论 2 310
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,383评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,255评论 3 313
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,624评论 3 299
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,916评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,199评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,553评论 2 342
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,756评论 2 335

推荐阅读更多精彩内容