MySQL单库数据量在5000万以内性能比较好,超过阈值后性能会随着数据量的增大而变弱。MySQL单表的数据量是500w-1000w之间性能比较好,超过1000w性能也会下降。
mysql的分库分表是在数据量大后的一个常用数据库优化方法
mysql单表数据量在500w至1000w之间性能还是可以的,超过1000w性能就会下降,这是在没有字符的前提下,有字符的情况下数据量最好在500w以下
简答的举个例子什么是水平拆分和垂直拆分
比如说现在有一个文章表A,数据量为1000w,字段有id,author,content。。。。等等多个字段
水平拆分:
把A表拆分为多个表,A_001,A_002,A_003,A_004,A_005这样平均每个表只有200w的数据垂直拆分:
把A表中的author和content字段抽离出来到独立的一个表中C,A中字段变为id,c_id。。等多个字段,C表中的字段就只有id,author和content
上面两个拆分都是库内拆分
库外拆分涉及的东西比较多较为复杂,这里就不讨论了,这里只是简单介绍一下,需要详细了解的自行百度
通过上面的一个简单的例子应该能明白什么是水平拆分什么是垂直拆分
那么来了解一下这两个的特点和优缺点吧
特点
纵向切分
常见有纵向分库纵向分表两种。
纵向分库就是根据业务耦合性,将关联度低的不同表存储在不同的数据库,做法与大系统拆分为多个小系统类似,按业务分类进行独立划分。与“微服务治理”的做法相似,每个微服务使用单独的一个数据库。
垂直分表是基于数据库中的列进行,某个表字段较多,可以新建一张扩展表,将不经常用或者字段长度较大的字段拆出到扩展表中。在字段很多的情况下,通过大表拆小表,更便于开发与维护,也能避免跨页问题,MYSQL底层是通过数据页存储的,一条记录占用空间过大会导致跨页,造成额外的开销。另外,数据库以行为单位将数据加载到内存中,这样表中字段长度越短且访问频次较高,内存能加载更多的数据,命中率更高,减少磁盘IO,从而提升数据库的性能。水平切分
当一个应用难以再细粒度的垂直切分或切分后数据量行数依然巨大,存在单库读写,存储性能瓶颈,这时候需要进行水平切分。
水平切分为库内分表和分库分表,是根据表内数据内在的逻辑关系,将同一个表按不同的条件分散到多个数据库或多表中,每个表中只包含一部分数据,从而使得单个表的数据量变小,达到分布式的效果。
库内分表只解决单一表数据量过大的问题,但没有将表分布到不同机器的库上,因些对于减轻mysql的压力来说帮助不是很大,大家还是竞争同一个物理机的CPU、内存、网络IO,最好通过分库分表来解决。
优缺点
垂直切分的优点:
解决业务系统层面的耦合,业务清晰
与微服务的治理类似,也能对不同业务的数据进行分级管理,维护,监控,扩展等。
高并发场景下,垂直切分一定程度的提升IO,数据库连接数,单机硬件资源的瓶颈。垂直切分的缺点
部分表无法join,只能通过接口聚合方式解决,提升了开发的复杂度。
分布式事处理复杂
依然存在单表数据量过大的问题。水平切分优点
不存在单库数据量过大、高并发的性能瓶颈,提升系统稳定性和负载能力。
应用端改造较小,不需要拆分业务模块。水平切分缺点
跨分片的事务一致性难以保证
跨库的join关联查询性能较差
数据多次扩展维度和维护量极大。