MySQL-分区表

MySQL-分区表

分区表(于MySQL 5.1引入,v 5.5后可以逐步考虑用于生产环境)

是一个独立的逻辑表,但是底层有多个物理子表组成。实现分区的代码实际上是对一组底层表的句柄对象的封装。

实现分区表的方式

对底层表的封装,意味着索引也是按照分区的子表定义的,而没有全局索引。(所以即使有唯一性索引,在不同子表中可能会有重复数据)

优势
  1. 可以将相关的数据存放在一起。
  2. 如果想一次批量删除整个分区的数据也会变得很方便。

适用场景

  • 表非常大以至于无法全部放在内存中,或者只在表的最后部分有热点数据,其它均是历史数据。

  • 分区表更以维护,可以通过清除整个分区的方式删除大量数据。

  • 分区标的数据可以分布在不同的物理设备上,从而高效地利用多个硬件设备。

  • 可以表面某些特殊的瓶颈,如InnoDB的单个索引的互斥访问、ext3文件系统的inode锁竞争。

获取更多分区知识

分区技术的限制

  • 每个表最多只能有1024个分区。
  • MySQL 5.1中,分区表达式必须是整数,或者返回整数表达式。MySQL 5.5中,某些场景可以直接用列来分区。
  • 如果分区字段中有主键或者所以索引的列,那么所有主键列和唯一索引列都必须包含进来。
  • 无法使用外键约束。
  • 对于MyISAM分区表,不能再使用LOAD INDEX INTO CACHE操作。
  • 某些存储引擎不支持分区。
  • 所有分区都必须使用相同的存储引擎。
  • 分区表达式有所限制

分区表的原理

分区表由多个相关的底层表实现,这些底层表也是句柄对象,所以可以直接访问各个分区。

分区表索引知识在各个底层表上各自加上一个完全相同的索引。从存储引擎的角度看,底层表和一个普通表没有区别。

常见的分区技术

  • 根据键值进行分区,来减少InnoDB的互斥量竞争
  • 使用数学模函数来进行分区,然后将数据轮询放入不同的分区。以日期为例,可以对日期做模7运算。
  • 拥有自增id主键列的表,id在某种程度上可以代替创建时间来做最近的热点数据存放:HASH(id DIV 10000),还可以避免因为时间超出范围新增分区的问题。

如何使用分区

单表数据量超大时索引失效

​ 在数据量超大(原书参考值为2012年的机器,10TB数据)的时候,B-Tree索引就无法起作用了(索引文件相比于内存大小要大得多)。除非B-Tree索引覆盖查询,否则数据库服务器根据索引扫描的结果回表查询,如果数据量巨大,将会产生大量随机I/O,随之,数据库的响应时间将不可接受。

​ 同时,当数据量超大时,维护索引的成本非常高。

那么如何解决上述问题,分区是一个良好的解决方案。

将单表分区成数个区域,通过分区函数,可以快速地定位到数据的区域。而且相比于索引,分区不需要额外的数据结构记录每个分区的数据,代价更低。只需要一个简单的表达式就可以指向正确的分区

具体的分区策略

  • 全量扫描数据,不要任何索引

​ 可以只是用简单的分区方式存放表,不要任何索引,只要将查询定位到需要的大致数据位置,通过where条件,将需要的数据限制在少数分区中,则效率是很高的。WARNNING:查询需要扫描的分区个数限制在一个很小的数量。

  • 索引数据,并分离热点

​ 如果数据有明显的“热点”,可以将热点数据单独放在一个分区,让这个分区的数据能够有机会都缓存在内存中。

分区存在的问题

  • NULL值会使分区过滤无效

​ 如果分区表达式的值可以是NULL:第一个分区会使一个特殊分区。以partition by range year(order_date)为例,所有在order_date列为NULL或者非法值的数据都会被放到第一个分区。那么所有的查询在定位分区后都会增加扫描第一个分区。而且如果第一个分区很大的时候,查询的成本会被这个“拖油瓶”分区无情的增加。

​ 创建一个无用的第一分区可以解决这个问题,partition p_nulls values less than (0);

  • 分区列和索引列不匹配

​ 对于分区列和索引列不匹配的查询,虽然查询能够使用索引,但是无法通过分区定位到目标数据的分区(也就是数据分布相对更加分散),需要遍历每个分区内的索引,除非查询中的条件同时也包含分区条件。所以期望分区条件范围被热门查询索引所包含。

  • 选择分区的成本可能很高

​ 对于范围分区技术,需要适当限制分区的数量,否则对于大量数据批量导入的场景,选择分区的成本过高。对于大多数系统,100个左右的分区是没有问题的。

  • 打开并锁住所有底层表的成本可能很高

  • 维护分区的成本可能很高

    新增或者删除分区的维护操作速度很快。但是重组分区或者类似ALTER语句的操作,需要复制数据->创建临时表->复制数据->提出原分区,成本可能很高。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,711评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,079评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 159,194评论 0 349
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,089评论 1 286
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,197评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,306评论 1 292
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,338评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,119评论 0 269
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,541评论 1 306
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,846评论 2 328
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,014评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,694评论 4 337
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,322评论 3 318
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,026评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,257评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,863评论 2 365
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,895评论 2 351

推荐阅读更多精彩内容

  • 1.分区表的原理 分区表是由多个相关的底层表实现,这些底层表也是由句柄对象表示,所以我们也可以直接访问各个分区,存...
    CXYMichael阅读 1,525评论 0 0
  • Mysql在创建表时使用partition by子句定义每个分区存放的数据,将数据安装一个较粗的刻度分在不同的表中...
    liuwj的ing阅读 597评论 0 2
  • mysql高级之表分区 下列说明为个人见解,欢迎交流指正。 1、表分区简介 1.1 问题概述 问题引出:假设一个商...
    道无虚阅读 33,376评论 1 19
  • 人这辈子,活着不容易。短的是人生,长的却是磨难。 前半生,懵懵懂懂;后半生,忙忙碌碌。回头看这一生,百感交集。 一...
    啵迩哆阅读 335评论 0 0
  • 你的身边的环境成就了你的思维格局和行动。 Zena因为选择的问题,最近有点漂浮,有点不知所措。人人都害怕在选...
    从心印心阅读 261评论 0 0