简述
通过把数据分散到不同的数据库中,使得单一数据库的数据量变小来缓解单一数据库的性能问题,从而达到提升数据库性能的目的。比如:将电商数据库拆分为若干独立的数据库,并且对于大表来说也拆分为若干小表,通过这种数据库拆分的方法来解决数据库的性能问题。
因此,分库分表的目的就是为了解决由于数据量过而导致数据库性能降低的问题,将原来独立的数据库拆分为若干数据库组成,将数据大表拆分成若干数据表,使得单一数据库、单一数据表的数据量变小,从而达到提升数据库性能的目的。
分库分表的方式在生产中通常包括4种方式:垂直分库、垂直分表、水平分库水平分表。
垂直分表
定义:在同一个数据库内将一个表按字段分成多表,每个表存储其中一部分字段 (霸道理解:一张表字段太多了,分两张表来存)
作用:将热点字段与冷门字段进行分表存储,从分发挥热点数据操作效率,避免了IO争抢带来的锁表几率。
为什么大字段IO效率低:
第一: 由于数据量本身大,需要更长的读取时间;
第二: 页是数据存储单位,很多查找及定位操作都是以页为单位,单页内的数据行越多数据库整体性能越好,而大字段占用空间大,单页内存储行数少,因此IO效率低。
第三:数据库以行为单位将数据加载到内存中,这样表中字段长度较短且访问频率较高,内存能加载更多的数据,命中率高,减少了磁盘IO,从而提升了数据库性能。
一般来说,某业务实体中的各个数据项的访问频率是不一样的,部分数据项可能是占用存储空间比较大的。例如商品描述。所以,当表数据量大时,可以将表按字段切开,将热门字段、冷门字段分别放一个表。
垂直分库
定义:垂直分库是指按照业务将表进行分类,分布到不同的数据库上面,每个库可以放在不同的服务器上,它的核心理念是专库专用,每个库负责处理一件事或一类事。(霸道理解:一个库的表太多了,把不常用的放到另一个服务器库来存)
因为是在同一台服务器上进行的分表操作,那么还是存在物理硬件的瓶颈。因此每个表还是竞争同一个物理机的CPU、内存、网络IO和磁盘
作用:
解决业务层面的耦合,业务清晰
能对不同业务的数据进行分级管理、维护、监控和扩展等
高并发场景下,垂直分库一定程度上提升IO、数据库连接和降低单机硬件资源的瓶颈
最后,垂直分库通过将表按业务分类,然后分布不同的数据库,并且可以将这些数据库部署在不同的服务器上,从而达到多个服务器共同分摊压力的效果,但是依然没有解决单表数据量过大的问题。
总结:垂直分表与垂直分库只是解决了高并发时 非热点数据 或 非热点数据表,带来的性能占用问题。当高并发的访问就是针对这一张表时,依然得不到解决。
水平分表
定义:水平分表就是在同一个数据库内,把同一个表的数据按一定规则拆到多个表中(对数据的拆分,不影响表结构)(霸道理解:一张表不够,那就再弄一张一摸一样的表)
作用:
优化单一表数据量过大而产生的性能问题
避免IO争抢并减少锁表的几率
同一个数据库内的水平分表,解决了单一表数据量过大的问题;分出来的小表中只包含一部分数据,从而使得单个表的数据量变小,提高检索性能。但是它增加了业务的复杂度。
水平分库
定义:水平分库就是把同一个表的数据按一定规则拆到不同的数据库中,每个库可以放在不同的服务器上。(霸道理解:一个库不够,那就再来一个一模一样的库)
作用:
当一个应用难以再细粒度的垂直拆分,或垂直切分后数据量行数巨大,存在单库读写、存储性能瓶颈,这时就需要进行水平分库了,经过水平切分的优化,往往能解决单库存储量及性能的瓶颈。但是由于同一个表被分配在不同的数据库,需要额外进行数据操作的路由工作,因此大大提示了系统的复杂度。
总结
分库分表的方式有四种,它们分别是:垂直分表、垂直分库、水平分库和水平分表。
垂直分表:可以把一个宽表的字段按照访问频率、是否是大字段的原则拆分为多个表,这样既能使业务清晰,还能提高部分性能。拆分后,尽量从业务角度避免联查,否则性能方面将得不偿失。
垂直分库:可以把多个表按照业务的耦合性来进行分类,分别存放在不同的数据库中,这些库可以分布在不同的服务器,从而使访问压力被分摊在多个服务器,大大提高性能,同时能提高整体架构的业务清晰度,不同的业务库可根据自身情况定制优化方案。但是它需要解决跨库带来的所有复杂问题。
水平分库:可以把一个表的数据(按数据行)分到多个不同的库,每个库只有这个表的部分数据,这些库可以分布在不同的服务器,从而使访问压力被多服务器负载,提升性能。它不仅需要解决跨库带来的问题,还需要解决数据路由的问题。
水平分表:可以把一个表的数据(按数据行)分到多个同一个数据库的多张表中,每个表的数据只有这个表的部分数据,这样做能小幅提升性能,它仅仅作为水平分库的一个补充优化。
最后,一般来说,在系统设计阶段就应该根据业务耦合程度来确定用哪种分库分表的方式(方案),在数据量及访问压力不是特别大的情况,首先考虑缓存、读写分离、索引技术等方案。若数据量极大,且连续增长,再考虑水平分库水平分表的方案。
引用:知乎 https://zhuanlan.zhihu.com/p/375951738