简介

任何技术的出现都是为了解决某一特定的业务场景，如果你之前接触过电商、股票交易所等数据量特别大的服务，相信你对为什么要分片应该非常了解。
分片（shard）是指将数据进行水平切分之后，将其存储到多个不同的服务器节点上的一种扩展方式。有点类似于“水平分表”的概念。
MongoDB本身就自带了分片管理的能力，不需要用到第三方库，对于开发来说非常的方便。

为什么要分片

我们每台服务器的容量和负载是有限的，越往上升级所需要的花费也就越高，但性能的提升却越低。同样的钱，购买多台服务器，可能比购买一台服务器的性能要好的多。

存储容量需求超出了单机的磁盘容量
活跃的数据集超出了单机的内存容量，导致很多请求都要从磁盘读取数据，导致性能下降。
写IOPS超出单个MongoDB节点的写服务能力。

架构

在分片模式下，存储这些不同的切片数据的节点被称为分片节点，一个分片集群（shard cluster）下面包含多个分片节点，除了分片节点，集群中还需要一些配置节点、路由节点，以保证分片机制的正常运行。
下图所示是一个非常经典的分片集群架构：

image.png

说明

shard: 分片。 用于存储真正的数据，并提供最终的数据读写访问，分片仅仅是一个逻辑的概念，它可以是一个单独的mongodb实例，也可以是一个副本集，图上所示的shard0、shard1就是一个副本集。我们也推荐使用副本集的方式，防止数据节点出现单点故障。
configReplSet：配置服务器。图上也是以副本集的形式出现。配置服务器保存了整个分片集群中的元数据，其中包含了各个集合的分片策略，以及分片的路由表等。
mongos：查询路由。mongos是分片集群的访问入口，其本身并不持久化数据。mongos启动后，会从配置服务器中加载元数据。之后mongos开始提供访问服务，并将用户的请求正确路由到对应的分片。在分片集群中可以部署多个mongos以分担客户端请求的压力。

分片策略

通过分片功能可以将一个非常大的集合分成多个集合存储在不同服务器上，如下图所示：

image.png

假设这个集合大小为100G，那么分成四个之后，每个分片存储的大小大概在25G左右。现实场景会根据策略的不同会有所差异。

数据块（chunk）

一个chunk代表了集合中的“一段数据“，例如，用户集合（db.users）在切分成chunk之后如下所示：

image.png

上图非常容易理解，以userId为分片键，将最小值（假设为0）_{100作为一个区间，100}200作为一个区间...切成一个个的数据块。集群在操作分片集合时，会根据分片键找到对应的chunk，并向该chunk所在的分片发起操作请求，而chunk的分布在一定程度上会影响数据的读写路径，由下面两点来决定：

chunk的切分方式，决定如何找到数据所在的chunk
chunk的分布状态，决定如何找到chunk所在的分片

分片算法

range sharding（范围分片）

假设取userId字段来分片，将[0_{100]区间作为一个chunk，[100}200]作为一个chunk。将整个取值范围划分为多个chunk。

它的优点在于
范围分片能很好的满足范围查询的需求，例如想查询userId的值在30~70的所有数据，mongos直接将请求定位在chunk2所在的分片服务器，就能查询出所有符合条件的数据。
它的缺点在于
如果userId有明显的递增（或者递减）趋势，则新插入的文档会分布在同一个chunk，此时写压力会集中到一个节点。

hash sharding（哈希分片）

哈希分片会事先根据分片键计算出一个新的哈希值（64位整数），再根据哈希值按照范围分片的策略进行chunk的切分。

开始搭建

学习完理论知识，下面我将根据上面的架构图，一步步的搭建一个MongoDB分片集群。当然我没有那么多的服务器，所以使用的是docker代替了。
根据架构图可以得知，我们搭建mongoDB分片集群需要用到

configserver : 配置服务
shardserver：分片服务
mongos：路由服务
这几个组件mongo都给我们集成好了，我们只需要设置几个参数就好。
需要注意的是它们几个对应的端口：

name	port
configServer	27019
shardServer	27018
mongos	27017

前期准备

docker 容器
mongo 镜像，这里用到的是mongo5.0
win10系统。

C:\Users\zhc12>docker images mongo
REPOSITORY          TAG                 IMAGE ID            CREATED             SIZE
mongo               latest              39f5c173b5d4        3 years ago         361MB

搭建configServer

准备容器

我们搭建一个configServer的副本集，准备启动三个configServer容器

docker run --name mongo_config0 -p 29001:27019 -itd mongo --configsvr --replSet "rs_configsvr"
docker run --name mongo_config1 -p 29002:27019 -itd mongo --configsvr --replSet "rs_configsvr"
docker run --name mongo_config2 -p 29003:27019 -itd mongo --configsvr --replSet "rs_configsvr"

将本机的29001、29002、29003端口映射到容器中的27019端口

运行完成之后我会看到的docker中已有三个容器：

C:\Users\zhc12>docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                 NAMES
a8edbff3b331        mongo               "docker-entrypoint.s…"   2 seconds ago       Up 1 second         27017/tcp, 0.0.0.0:29003->27019/tcp   mongo_config2
22d73da4124f        mongo               "docker-entrypoint.s…"   3 seconds ago       Up 3 seconds        27017/tcp, 0.0.0.0:29002->27019/tcp   mongo_config1
09b0f79004b0        mongo               "docker-entrypoint.s…"   4 seconds ago       Up 3 seconds        27017/tcp, 0.0.0.0:29001->27019/tcp   mongo_config0

初始化副本集

进入我们的mongo_config0初始化副本集

image.png

docker  exec -it mongo_config0 bash #进入容器

mongo --port 27019 # 连接configService

#初始化数据集
rs.initiate(
  {
    _id: "rs_configsvr",
    configsvr: true,
    members: [
      { _id : 0, host : "192.168.0.103:29001" },
      { _id : 1, host : "192.168.0.103:29002" },
      { _id : 2, host : "192.168.0.103:29003" }
    ]
  }
)

192.168.0.103：是本地的ip地址，后的端口也是映射的端口。

创建分片副本集

准备容器

这里我们准备了两个分片 rs_shardsvr0 和 rs_shardsvr1

docker run --name shardsvr00 -p 28001:27018 -d mongo --shardsvr --replSet "rs_shardsvr0"  
docker run --name shardsvr01 -p 28002:27018 -d mongo --shardsvr --replSet "rs_shardsvr0"  
docker run --name shardsvr02 -p 28003:27018 -d mongo --shardsvr --replSet "rs_shardsvr0"  
docker run --name shardsvr10 -p 28004:27018 -d mongo --shardsvr --replSet "rs_shardsvr1"  
docker run --name shardsvr11 -p 28005:27018 -d mongo --shardsvr --replSet "rs_shardsvr1"  
docker run --name shardsvr12 -p 28006:27018 -d mongo --shardsvr --replSet "rs_shardsvr1"

执行完之后

C:\Users\zhc12>docker ps
CONTAINER ID        IMAGE               COMMAND                  CREATED             STATUS              PORTS                                 NAMES
7a971a4ce271        mongo               "docker-entrypoint.s…"   2 seconds ago       Up 2 seconds        27017/tcp, 0.0.0.0:28006->27018/tcp   shardsvr12
fc3b2f12434d        mongo               "docker-entrypoint.s…"   4 seconds ago       Up 3 seconds        27017/tcp, 0.0.0.0:28005->27018/tcp   shardsvr11
0e34e4754566        mongo               "docker-entrypoint.s…"   4 seconds ago       Up 4 seconds        27017/tcp, 0.0.0.0:28004->27018/tcp   shardsvr10
d5d6b4761561        mongo               "docker-entrypoint.s…"   5 seconds ago       Up 4 seconds        27017/tcp, 0.0.0.0:28003->27018/tcp   shardsvr02
a7cfd37b25fd        mongo               "docker-entrypoint.s…"   5 seconds ago       Up 4 seconds        27017/tcp, 0.0.0.0:28002->27018/tcp   shardsvr01
0cdde4769c47        mongo               "docker-entrypoint.s…"   5 seconds ago       Up 5 seconds        27017/tcp, 0.0.0.0:28001->27018/tcp   shardsvr00

初始化副本集

分片对应的端口是27018，以同样的方式，我们初始化一下副本集


docker exec -it shardsvr00 mongo --port 27018 # 进入mongo shard
rs.initiate(
  {
    _id : "rs_shardsvr0",
    members: [
      { _id : 0, host : "192.168.0.103:28001" },
      { _id : 1, host : "192.168.0.103:28002" },
      { _id : 2, host : "192.168.0.103:28003" }
    ]
  }
)

docker exec -it shardsvr10 mongo --port 27018
rs.initiate(
  {
    _id : "rs_shardsvr1",
    members: [
      { _id : 0, host : "192.168.0.103:28004" },
      { _id : 1, host : "192.168.0.103:28005" },
      { _id : 2, host : "192.168.0.103:28006" }
    ]
  }
)

到这里我们的configServer 和 shardServer集群就创建好了。接下来我们准备mongos服务

mongos搭建

mongos是一个路由器，默认是不存储数据的，这里不用使用副本集，它的默认端口就是27017，由于镜像的默认入口是 mongod，所以要通过 --entrypoint mongos 将其修改为 mongs。

docker run --name mongos01 -p 27017:27017 -d --entrypoint "mongos" mongo --configdb rs_configsvr/192.168.0.103:29001,192.168.0.103:29002,192.168.0.103:29003

rs_configsvr: 连接我们的configServer服务。

添加分片到集群

docker exec -it  mongos01 mongo

mongos连接之后， mongos标签会在shell前面显示；如下

image.png

将我们的分片rs_shardsvr0 和 rs_shardsvr1添加到集群中。

sh.addShard("rs_shardsvr0/192.168.0.103:28001,192.168.0.103:28002,192.168.0.103:28003")
sh.addShard("rs_shardsvr1/192.168.0.103:28004,192.168.0.103:28005,192.168.0.103:28006")

执行结果如下：

image.png

数据库启动分片

sh.enableSharding("orderdb")

image.png

分片Collection

对orderdb.user 的 _id 字段进行哈希分片：

sh.shardCollection("orderdb.user", {"_id": "hashed" })

image.png

测试插入数据

use orderdb

for (i = 1; i <= 1000; i=i+1){
    db.user.insert({'username': 'zhouhc' + i})
}

image.png

查看数据分布

# 在 mongos上查询
db.user.find().count()

image.png

进入分片集 rs_shardsvr0 中查询

C:\Users\zhc12>docker exec -it shardsvr00 mongo --port 27018
MongoDB shell version v3.4.9
connecting to: mongodb://127.0.0.1:27018/
MongoDB server version: 3.4.9
Server has startup warnings:
2021-08-03T09:34:28.420+0000 I STORAGE  [initandlisten]
2021-08-03T09:34:28.420+0000 I STORAGE  [initandlisten] ** WARNING: Using the XFS filesystem is strongly recommended with the WiredTiger storage engine
2021-08-03T09:34:28.420+0000 I STORAGE  [initandlisten] **          See http://dochub.mongodb.org/core/prodnotes-filesystem
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten]
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten] ** WARNING: Access control is not enabled for the database.
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten] **          Read and write access to data and configuration is unrestricted.
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten]
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten]
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2021-08-03T09:34:28.455+0000 I CONTROL  [initandlisten]
rs_shardsvr0:PRIMARY> show dbs
admin    0.000GB
local    0.000GB
orderdb  0.000GB
rs_shardsvr0:PRIMARY> use orderdb
switched to db orderdb
rs_shardsvr0:PRIMARY> db.user.find().count()
501

结果是501条

进入分片集 rs_shardsvr1 中查询

C:\Users\zhc12>docker exec -it shardsvr10 mongo --port 27018
MongoDB shell version v3.4.9
connecting to: mongodb://127.0.0.1:27018/
MongoDB server version: 3.4.9
Server has startup warnings:
2021-08-03T09:34:29.447+0000 I STORAGE  [initandlisten]
2021-08-03T09:34:29.447+0000 I STORAGE  [initandlisten] ** WARNING: Using the XFS filesystem is strongly recommended with the WiredTiger storage engine
2021-08-03T09:34:29.447+0000 I STORAGE  [initandlisten] **          See http://dochub.mongodb.org/core/prodnotes-filesystem
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten]
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten] ** WARNING: Access control is not enabled for the database.
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten] **          Read and write access to data and configuration is unrestricted.
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten]
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten]
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten] ** WARNING: /sys/kernel/mm/transparent_hugepage/enabled is 'always'.
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten] **        We suggest setting it to 'never'
2021-08-03T09:34:29.480+0000 I CONTROL  [initandlisten]
rs_shardsvr1:PRIMARY> use orderdb
switched to db orderdb
rs_shardsvr1:PRIMARY> db.user.find().count()
499

集群搭建到这里基本就结束了，如果想搭建多个mongos的可以自己去尝试。

参考

MongoDB进阶与实战：微服务整合、性能优化、架构管理
 使用 Docker 部署 MongoDB 分片

MONGO学习之旅(七、分片）

MONGO学习之旅(七、分片）

简介

为什么要分片

架构

说明

分片策略

数据块（chunk）

分片算法

range sharding（范围分片）

hash sharding（哈希分片）

开始搭建

前期准备

搭建configServer

准备容器

初始化副本集

创建分片副本集

准备容器

初始化副本集

mongos搭建

添加分片到集群

数据库启动分片

分片Collection

测试插入数据

查看数据分布

参考

推荐阅读更多精彩内容