摘自 https://zhuanlan.zhihu.com/p/50650224
参考
https://tech.meituan.com/2016/11/18/dianping-order-db-sharding.html
https://crossoverjie.top/2019/07/24/framework-design/sharding-db-03/
https://zhuanlan.zhihu.com/p/50652826
需要考虑分库分表的场景
规划期内的数据量和性能问题，尝试能否用下列方式解决：
- 当前数据量：如果没有达到几百万至千万，通常无需分库分表；
- 数据量问题：增加磁盘、增加分库(不同的业务功能表，整表拆分至不同的数据库)；
- 性能问题：升级CPU/内存、读写分离、优化数据库系统配置、优化数据表/索引、优化 SQL、分区、数据表的垂直切分；
- 最后数据表的水平切分。
建议的规划期：预估未来三年的数据量
分库分表引入的问题
分布式事务
若两阶段/三阶段提交对性能损耗过大，可改用事务补偿机制。
跨节点 JOIN
规避方案
全局表: 一些稳定的共用数据表，在各个数据库中都保存一份；
字段冗余: 一些常用的共用字段，在各个数据表中都保存一份；
应用组装：应用获取数据后再组装。
最近关联：某个 ID 的用户信息在哪个节点，他的关联数据(比如订单)也在哪个节点，可以避免分布式查询。
跨节点聚合
只能在应用程序端完成。
但对于分页查询，每次大量聚合后再分页，性能欠佳。
节点扩容
节点扩容后，新的分片规则导致数据所属分片有变，因而需要迁移数据。
全局ID生成策略
DB自动增长列
- 设置自增偏移和步长
## 假设总共有 10 个分表
## 级别可选: SESSION(会话级), GLOBAL(全局)
SET @@SESSION.auto_increment_offset = 1; ## 起始值, 分别取值为 1~10
SET @@SESSION.auto_increment_increment = 10; ## 步长增量
- 全局ID映射表
在全局 Redis 中为每张数据表创建一个 ID 的键，记录该表当前最大 ID；
每次申请 ID 时，都自增 1 并返回给应用；
Redis 要定期持久至全局数据库。
COMB
参考资料：The Cost of GUIDs as Primary Keys
组合 GUID(10字节) 和时间(6字节)，达到有序的效果，提高索引性能。
Snowflake
1bit: 符号位，总是 0(为了保证数值是正数)。
41bit: 毫秒数(可用 69 年)；
10bit: 节点ID(5bit数据中心 + 5bit节点ID，支持 32 * 32 = 1024 个节点)
12bit: 流水号(每个节点每毫秒内支持 4096 个 ID，相当于 409万的 QPS，相同时间内如 ID 遇翻转，则等待至下一毫秒)
扩展开源库
UidGenerator
Leaf
分片策略
| 分片策略 | 原理 | 缺点 | 优点 |
|---|---|---|---|
| 连续分片 | 根据特定字段(比如用户ID、订单时间)的范围，值在该区间的，划分到特定节点。 | 如果按时间划分，数据热点分布不均(历史数冷当前数据热)，导致节点负荷不均。 | 集群扩容后，指定新的范围落在新节点即可，无需进行数据迁移。 |
| MOD | 根据ID取模 | 扩容后需要迁移数据 | |
| 一致性Hash算法 | 环形hash空间;映射数据到环;映射节点到环;数据顺时针取最近节点存储 | 扩容后无需迁移数据 |
分库分表方案
| 方案 | 原理 | 中间件 |
|---|---|---|
| 代理层 | 部署一台代理服务器伪装成 MySQL 服务器，代理服务器负责与真实 MySQL 节点的对接，应用程序只和代理服务器对接 | MyCAT; Sharding-Sphere |
| 应用层 | 业务层和 JDBC 层中间，是以 JAR 包方式提供给应用调用，对代码有侵入性 | Sharding-Sphere |
节点扩容方案
常规方案
如果增加的节点数和扩容操作没有规划，那么绝大部分数据所属的分片都有变化，需要在分片间迁移：
- 预估迁移耗时，发布停服公告；
- 停服(用户无法使用服务)，使用事先准备的迁移脚本，进行数据迁移；
- 修改为新的分片规则；
- 启动服务器。
免迁移扩容
采用双倍扩容策略，避免数据迁移。扩容前每个节点的数据，有一半要迁移至一个新增节点中，对应关系比较简单。
具体操作如下(假设已有 2 个节点 A/B，要双倍扩容至 A/A2/B/B2 这 4 个节点)：
- 无需停止应用服务器；
- 新增两个数据库 A2/B2 作为从库，设置主从同步关系为：A=>A2、B=>B2，直至主从数据同步完毕(早期数据可手工同步)；
- 调整分片规则并使之生效：
原 ID%2=0 => A 改为 ID%4=0 => A, ID%4=2 => A2；
原 ID%2=1 => B 改为 ID%4=1 => B, ID%4=3 => B2。 - 解除数据库实例的主从同步关系，并使之生效；
- 至此完成扩容
- 择机清除冗余数据
