数据库的字段扩展

业务需求与现状

  1. 大数据量的表,如几千万条记录
  2. 业务需求,在该表加字段,实际业务用不到,仅统计时需要用;而且时不时的会有不同的这种字段需求添加;实际上可以跨库去取的字段,但是统计侧存在跨库不方便的情况,只能扩展添加字段。

问题

大数据量的表,执行ddl,alert列时会有锁表的问题。

思路1:采用json存储

- 问题:varchar(255),存储的字符串长度也有限,存json字符串的话,字段也有限;如果是Text会占用数据库空间太多的问题;
- 好处:可读清晰,容易扩展
- 缺点:占用空间大,效率低

思路2: 采用二进制存储

BIT(64)最多64位,tinyblob的话应该更多(好像用于位运算很繁琐)

2.1

如第一位用来存储,是否单抽/十抽
后续如果有新的类型加入,比如五抽, 可以继续约定第x位为改类型的字段

2.2

最好还是预留一些位,方便扩展,连续的位计算更方便,但是总会存在超过预留位的场景

2.3

N+1位,固定的一位用于扩展;如果是0,用后面的N位;如果是1,表示是超过当前设计的位范围了,去一个新增的数据库查询

- 好处:位运算执行效率高,节省空间
- 坏处:可读性不强; 扩展差; 64位用完后还得继续增加新字段;

思路3: 引入列存储如MangoDb

列存储适合这种场景,具体待研究

思路4: 表垂直拆分

将不用的字段拆分出来,改动也挺大,增加字段依然存在问题

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,324评论 5 476
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,303评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,192评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,555评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,569评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,566评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,927评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,583评论 0 257
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,827评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,590评论 2 320
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,669评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,365评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,941评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,928评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,159评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 42,880评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,399评论 2 342

推荐阅读更多精彩内容

  • A.字段类型介绍 不同的关系型数据库在字段类型的具体化上差异较多,这里无法一一详述,但具体化的字段类型再多,无外乎...
    SnowflakeCloud阅读 11,101评论 1 12
  • 数据库预留扩展字段:就是不存放数据的空字段 场景一 项目上线了,要增加新功能原有的数据库表要增加相应的字段,由于这...
    hello_yb阅读 2,779评论 0 1
  • 转 数据库字段动态扩展设计 最近讨论数据库有关产品方案的项目自动扩展问题,即每个方案都有多个项目,而每个方案的项目...
    树蜂阅读 3,837评论 0 2
  • 字段设计规范 1. 优先选择符合存储需要的最小的数据类型1 原因:列的字段越大,建立索引时所需要的空间也就越大,这...
    happyJared阅读 1,378评论 9 33
  • 表字段扩展方案 背景 业务需要,开发了新功能,对应的,需要对原表新增一些必要字段。想当然的 相信很多朋友和我一样,...
    码哥说阅读 787评论 0 3