mongodb集群-分片

1. 分片概念

分片(sharding)是一种跨多台机器分布数据的方法, MongoDB使用分片来支持具有非常大的数据集和高吞吐量操作的部署。

换句话说:分片(sharding)是指将数据拆分,将其分散存在不同的机器上的过程。有时也用分区(partitioning)来表示这个概念。将数据分散到不同的机器上,不需要功能强大的大型计算机就可以储存更多的数据,处理更多的负载。

具有大型数据集或高吞吐量应用程序的数据库系统可以会挑战单个服务器的容量。例如,高查询率会耗尽服务器的CPU容量。工作集大小大于系统的RAM会强调磁盘驱动器的I / O容量。

有两种解决系统增长的方法:垂直扩展和水平扩展。

垂直扩展意味着增加单个服务器的容量,例如使用更强大的CPU,添加更多RAM或增加存储空间量。可用技术的局限性可能会限制单个机器对于给定工作负载而言足够强大。此外,基于云的提供商基于可用的硬件配置具有硬性上限。结果,垂直缩放有实际的最大值。

水平扩展意味着划分系统数据集并加载多个服务器,添加其他服务器以根据需要增加容量。虽然单个机器的总体速度或容量可能不高,但每台机器处理整个工作负载的子集,可能提供比单个高速大容量服务器更高的效率。扩展部署容量只需要根据需要添加额外的服务器,这可能比单个机器的高端硬件的总体成本更低。权衡是基础架构和部署维护的复杂性增加。

MongoDB支持通过分片进行水平扩展。

2. 分片集群包含的组件

MongoDB分片群集包含以下组件:
分片(存储):每个分片包含分片数据的子集。 每个分片都可以部署为副本集。
mongos (路由):mongos充当查询路由器,在客户端应用程序和分片集群之间提供接口。
config servers (“调度”的配置):配置服务器存储群集的元数据和配置设置。 从MongoDB 3.4开
始,必须将配置服务器部署为副本集(CSRS)。
下图描述了分片集群中组件的交互:


分片集群中组件的交互图

MongoDB在集合级别对数据进行分片,将集合数据分布在集群中的分片上。

3. 分片集群架构目标

两个分片节点副本集(3+3)+一个配置节点副本集(3)+两个路由节点(2),共11个服务节点


mongodb_Mongodb分片集群架构(实验).png

4. 分片(存储)节点副本集的创建

所有的的配置文件都直接放到 sharded_cluster 的相应的子目录下面,默认配置文件名字:
mongod.conf

4.1 第一套副本集

准备存放数据、配置文件和日志的目录:

#-----------myshardrs01
mkdir -p /etc/mongod/27{0,1,2}18/
mkdir -p /var/log/mongodb/27{0,1,2}18/
mkdir -p /data/mongodb/db/27{0,1,2}18/

给创建的文件目录赋权限

chown -R mongodb:mongodb /data/mongodb
chown -R mongodb:mongodb /var/log/mongodb

新建或修改配置文件

vim /etc/mongod/27018/mongod.conf

修改配置文件mongod.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/var/log/mongodb/27018/mongod.log"
  #当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/data/mongodb/db/27018"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
  pidFilePath: "/var/run/mongodb/mongod_27018.pid"
  timeZoneInfo: /usr/share/zoneinfo
net:
  #服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,127.0.0.1
  #bindIp
  #绑定的端口
  port: 27018
replication:
  #副本集的名称
  replSetName: myshardrs01
sharding:
  #分片角色
  clusterRole: shardsvr

sharding.clusterRole:

Value Description
configsvr Start this instance as a config server. The instance starts on port 27019 by default.
shardsvr Start this instance as a shard. The instance starts on port 27018 by default.

注意:
设置sharding.clusterRole需要mongod实例运行复制。 要将实例部署为副本集成员,请使用replSetName设置并指定副本集的名称。
因为我是apt安装的所以以下修改仅仅适用于apt安装的,通过其他方式安装的可参考,基本类似。
以上只更改了27018,剩下的27118和27218只需更改相应的端口即可。

启动第一套副本集:一主一副本一仲裁

sudo -u mongodb -g mongodb mongod -f /etc/mongod/27018/mongod.conf
sudo -u mongodb -g mongodb mongod -f /etc/mongod/27118/mongod.conf
sudo -u mongodb -g mongodb mongod -f /etc/mongod/27218/mongod.conf

查看服务是否启动:

ps -ef | grep mongo | grep -v grep
mongodb  23848     1  0 10:48 ?        00:01:52 mongod -f /etc/mongod/27118/mongod.conf
mongodb  24216     1  0 10:49 ?        00:01:50 mongod -f /etc/mongod/27018/mongod.conf
mongodb  24854     1  0 10:51 ?        00:01:08 mongod -f /etc/mongod/27218/mongod.conf

(1)初始化副本集和创建主节点:
使用客户端命令连接任意一个节点,但这里尽量要连接主节点:

mongo --host 127.0.0.1 --port 27018

执行初始化副本集命令:

> rs.initiate()
{
    "info2" : "no configuration specified. Using a default configuration for the set",
    "me" : "localhost:27018",
    "ok" : 1
}
myshardrs01:OTHER> 
myshardrs01:PRIMARY> 

查看副本集情况(节选内容):

myshardrs01:PRIMARY> rs.status()
{
    "set" : "myshardrs01",
    "date" : ISODate("2021-03-22T02:53:18.523Z"),
    "myState" : 1,
    "term" : NumberLong(1),
    "syncingTo" : "",
    "syncSourceHost" : "",
    "syncSourceId" : -1,
    "heartbeatIntervalMillis" : NumberLong(2000),
    "majorityVoteCount" : 1,
    "writeMajorityCount" : 1,
        ......
        ......
    "members" : [
        {
            "_id" : 0,
            "name" : "localhost:27018",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 219,
            "optime" : {
                "ts" : Timestamp(1616381592, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T02:53:12Z"),
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "could not find member to sync from",
            "electionTime" : Timestamp(1616381582, 2),
            "electionDate" : ISODate("2021-03-22T02:53:02Z"),
            "configVersion" : 1,
            "self" : true,
            "lastHeartbeatMessage" : ""
        }
    ],
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616381592, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616381592, 1)
}

(2)添加副本节点:

myshardrs01:PRIMARY> rs.add("127.0.0.1:27118")
{
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616381636, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616381636, 1)
}

(3)添加仲裁节点

myshardrs01:PRIMARY> rs.addArb("127.0.0.1:27218")
{
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616381778, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616381778, 1)
}

查看副本集的配置情况:

myshardrs01:PRIMARY> rs.status()
{
    "set" : "myshardrs01",
    "date" : ISODate("2021-03-22T02:56:55.982Z"),
    "myState" : 1,
    "term" : NumberLong(1),
    "syncingTo" : "",
    "syncSourceHost" : "",
    "syncSourceId" : -1,
    "heartbeatIntervalMillis" : NumberLong(2000),
    "majorityVoteCount" : 2,
    "writeMajorityCount" : 2,
        ......
        ......
    "members" : [
        {
            "_id" : 0,
            "name" : "localhost:27018",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 436,
            "optime" : {
                "ts" : Timestamp(1616381812, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T02:56:52Z"),
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "",
            "electionTime" : Timestamp(1616381582, 2),
            "electionDate" : ISODate("2021-03-22T02:53:02Z"),
            "configVersion" : 3,
            "self" : true,
            "lastHeartbeatMessage" : ""
        },
        {
            "_id" : 1,
            "name" : "127.0.0.1:27118",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 179,
            "optime" : {
                "ts" : Timestamp(1616381812, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1616381812, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T02:56:52Z"),
            "optimeDurableDate" : ISODate("2021-03-22T02:56:52Z"),
            "lastHeartbeat" : ISODate("2021-03-22T02:56:54.701Z"),
            "lastHeartbeatRecv" : ISODate("2021-03-22T02:56:54.703Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "localhost:27018",
            "syncSourceHost" : "localhost:27018",
            "syncSourceId" : 0,
            "infoMessage" : "",
            "configVersion" : 3
        },
        {
            "_id" : 2,
            "name" : "127.0.0.1:27218",
            "health" : 1,
            "state" : 7,
            "stateStr" : "ARBITER",
            "uptime" : 37,
            "lastHeartbeat" : ISODate("2021-03-22T02:56:54.701Z"),
            "lastHeartbeatRecv" : ISODate("2021-03-22T02:56:54.753Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "",
            "configVersion" : 3
        }
    ],
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616381812, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616381812, 1)
}

4.2 第二套副本集

准备存放数据和日志的目录:

#-----------myshardrs02
mkdir -p /etc/mongod/27{4,5,6}18/  
mkdir -p /var/log/mongodb/27{4,5,6}18/
mkdir -p /data/mongodb/db/27{4,5,6}18/

给创建的目录赋权限

chown -R mongodb:mongodb /data/mongodb
chown -R mongodb:mongodb /var/log/mongodb

新建或修改配置文件:

vim /etc/mongod/27318/mongod.conf

myshardrs02_27318 :

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/var/log/mongodb/27318/mongod.log"
  #当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/data/mongodb/db/27318"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
  pidFilePath: "/var/run/mongodb/mongod_27318.pid"
  timeZoneInfo: /usr/share/zoneinfo
net:
  #服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,127.0.0.1
  #bindIp
  #绑定的端口
  port: 27318
replication:
  #副本集的名称
  replSetName: myshardrs02
sharding:
  #分片角色
  clusterRole: shardsvr

注意:
以上只更改了27018,剩下的27118和27218只需更改相应的端口即可。

启动第一套副本集:一主一副本一仲裁

sudo -u mongodb -g mongodb mongod -f /etc/mongod/27318/mongod.conf
sudo -u mongodb -g mongodb mongod -f /etc/mongod/27418/mongod.conf
sudo -u mongodb -g mongodb mongod -f /etc/mongod/27518/mongod.conf

查看服务是否启动:

ps -ef | grep mongo | grep -v grep
mongodb  22490     1  0 13:38 ?        00:01:21 mongod -f /etc/mongod/27418/mongod.conf
mongodb  23193     1  0 13:42 ?        00:00:38 mongod -f /etc/mongod/27518/mongod.conf
mongodb  23848     1  0 10:48 ?        00:01:56 mongod -f /etc/mongod/27118/mongod.conf
mongodb  24216     1  0 10:49 ?        00:01:53 mongod -f /etc/mongod/27018/mongod.conf
mongodb  24854     1  0 10:51 ?        00:01:09 mongod -f /etc/mongod/27218/mongod.conf
mongodb  24957     1  0 13:48 ?        00:01:22 mongod -f /etc/mongod/27318/mongod.conf

(1)初始化副本集和创建主节点:
使用客户端命令连接任意一个节点,但这里尽量要连接主节点:

mongo --host 127.0.0.1 --port 27318

执行初始化副本集命令:

> rs.initiate()
{
    "info2" : "no configuration specified. Using a default configuration for the set",
    "me" : "localhost:27318",
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616392164, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616392164, 1)
}
myshardrs02:SECONDARY> 
myshardrs02:PRIMARY> 

(2)添加副本节点:

myshardrs02:PRIMARY> rs.add("127.0.0.1:27418")
{
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616392220, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616392220, 1)
}

(3)添加仲裁节点:

myshardrs02:PRIMARY> rs.addArb("127.0.0.1:27518")
{
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616392251, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616392251, 1)
}
myshardrs02:PRIMARY> rs.status()
{
    "set" : "myshardrs02",
    "date" : ISODate("2021-03-22T05:52:58.195Z"),
    "myState" : 1,
    "term" : NumberLong(1),
    "syncingTo" : "",
    "syncSourceHost" : "",
    "syncSourceId" : -1,
    "heartbeatIntervalMillis" : NumberLong(2000),
    "majorityVoteCount" : 2,
    "writeMajorityCount" : 2,
        ......
        ......
    "members" : [
        {
            "_id" : 0,
            "name" : "localhost:27318",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 246,
            "optime" : {
                "ts" : Timestamp(1616392374, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T05:52:54Z"),
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "",
            "electionTime" : Timestamp(1616392164, 2),
            "electionDate" : ISODate("2021-03-22T05:49:24Z"),
            "configVersion" : 3,
            "self" : true,
            "lastHeartbeatMessage" : ""
        },
        {
            "_id" : 1,
            "name" : "127.0.0.1:27418",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 157,
            "optime" : {
                "ts" : Timestamp(1616392374, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1616392374, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T05:52:54Z"),
            "optimeDurableDate" : ISODate("2021-03-22T05:52:54Z"),
            "lastHeartbeat" : ISODate("2021-03-22T05:52:57.027Z"),
            "lastHeartbeatRecv" : ISODate("2021-03-22T05:52:57.031Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "localhost:27318",
            "syncSourceHost" : "localhost:27318",
            "syncSourceId" : 0,
            "infoMessage" : "",
            "configVersion" : 3
        },
        {
            "_id" : 2,
            "name" : "127.0.0.1:27518",
            "health" : 1,
            "state" : 7,
            "stateStr" : "ARBITER",
            "uptime" : 127,
            "lastHeartbeat" : ISODate("2021-03-22T05:52:57.029Z"),
            "lastHeartbeatRecv" : ISODate("2021-03-22T05:52:57.068Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "",
            "configVersion" : 3
        }
    ],
    "ok" : 1,
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616392374, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616392374, 1)
}

5. 配置节点副本集的创建

第一步:准备存放数据和日志的目录:

#-----------myconfigrs
mkdir -p /etc/mongod/27{0,1,2}19/
mkdir -p /var/log/mongodb/27{0,1,2}19/
mkdir -p /data/mongodb/db/27{0,1,2}19/

给创建的目录赋权限

chown -R mongodb:mongodb /data/mongodb
chown -R mongodb:mongodb /var/log/mongodb

新建或修改配置文件:

vim /etc/mongod/27019/mongod.conf

myconfigrs_27019 :

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/var/log/mongodb/27019/mongod.log"
  #当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
storage:
  #mongod实例存储其数据的目录。storage.dbPath设置仅适用于mongod。
  dbPath: "/data/mongodb/db/27019"
  journal:
  #启用或禁用持久性日志以确保数据文件保持有效和可恢复。
    enabled: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
  pidFilePath: "/var/run/mongodb/mongod_27019.pid"
  timeZoneInfo: /usr/share/zoneinfo
net:
  #服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,127.0.0.1
  #bindIp
  #绑定的端口
  port: 27019
replication:
  #副本集的名称
  replSetName: myconfigrs
sharding:
  #分片角色
  clusterRole: configsvr

启动配置副本集:一主两副本
依次启动三个mongod服务:

sudo -u mongodb -g mongodb mongod -f /etc/mongod/27019/mongod.conf
sudo -u mongodb -g mongodb mongod -f /etc/mongod/27119/mongod.conf
sudo -u mongodb -g mongodb mongod -f /etc/mongod/27219/mongod.conf

查看服务是否启动:

ps -ef | grep mongo | grep -v grep

(1)初始化副本集和创建主节点:
使用客户端命令连接任意一个节点,但这里尽量要连接主节点:

mongo --host 127.0.0.1 --port 27019

执行初始化副本集命令:

> rs.initiate()
{
    "info2" : "no configuration specified. Using a default configuration for the set",
    "me" : "localhost:27019",
    "ok" : 1,
    "$gleStats" : {
        "lastOpTime" : Timestamp(1616394009, 1),
        "electionId" : ObjectId("000000000000000000000000")
    },
    "lastCommittedOpTime" : Timestamp(0, 0)
}
myconfigrs:SECONDARY> 
myconfigrs:PRIMARY> 

(2)添加两个副本节点:

myconfigrs:PRIMARY> rs.add("127.0.0.1:27119")
{
    "ok" : 1,
    "$gleStats" : {
        "lastOpTime" : {
            "ts" : Timestamp(1616394052, 1),
            "t" : NumberLong(1)
        },
        "electionId" : ObjectId("7fffffff0000000000000001")
    },
    "lastCommittedOpTime" : Timestamp(1616394049, 1),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616394052, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616394052, 1)
}
myconfigrs:PRIMARY> rs.add("127.0.0.1:27219")
{
    "ok" : 1,
    "$gleStats" : {
        "lastOpTime" : {
            "ts" : Timestamp(1616394056, 1),
            "t" : NumberLong(1)
        },
        "electionId" : ObjectId("7fffffff0000000000000001")
    },
    "lastCommittedOpTime" : Timestamp(1616394052, 1),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616394056, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616394056, 1)
}

(3)查看副本集的配置情况:

myconfigrs:PRIMARY> rs.status()
{
    "set" : "myconfigrs",
    "date" : ISODate("2021-03-22T06:22:01.429Z"),
    "myState" : 1,
    "term" : NumberLong(1),
    "syncingTo" : "",
    "syncSourceHost" : "",
    "syncSourceId" : -1,
    "configsvr" : true,
    "heartbeatIntervalMillis" : NumberLong(2000),
    "majorityVoteCount" : 2,
    "writeMajorityCount" : 2,
        ......
        ......
    "members" : [
        {
            "_id" : 0,
            "name" : "localhost:27019",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 448,
            "optime" : {
                "ts" : Timestamp(1616394119, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T06:21:59Z"),
            "syncingTo" : "",
            "syncSourceHost" : "",
            "syncSourceId" : -1,
            "infoMessage" : "could not find member to sync from",
            "electionTime" : Timestamp(1616394009, 2),
            "electionDate" : ISODate("2021-03-22T06:20:09Z"),
            "configVersion" : 3,
            "self" : true,
            "lastHeartbeatMessage" : ""
        },
        {
            "_id" : 1,
            "name" : "127.0.0.1:27119",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 69,
            "optime" : {
                "ts" : Timestamp(1616394119, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1616394119, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T06:21:59Z"),
            "optimeDurableDate" : ISODate("2021-03-22T06:21:59Z"),
            "lastHeartbeat" : ISODate("2021-03-22T06:22:00.253Z"),
            "lastHeartbeatRecv" : ISODate("2021-03-22T06:22:01.256Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "localhost:27019",
            "syncSourceHost" : "localhost:27019",
            "syncSourceId" : 0,
            "infoMessage" : "",
            "configVersion" : 3
        },
        {
            "_id" : 2,
            "name" : "127.0.0.1:27219",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 65,
            "optime" : {
                "ts" : Timestamp(1616394119, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1616394119, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2021-03-22T06:21:59Z"),
            "optimeDurableDate" : ISODate("2021-03-22T06:21:59Z"),
            "lastHeartbeat" : ISODate("2021-03-22T06:22:00.254Z"),
            "lastHeartbeatRecv" : ISODate("2021-03-22T06:21:59.850Z"),
            "pingMs" : NumberLong(0),
            "lastHeartbeatMessage" : "",
            "syncingTo" : "127.0.0.1:27119",
            "syncSourceHost" : "127.0.0.1:27119",
            "syncSourceId" : 1,
            "infoMessage" : "",
            "configVersion" : 3
        }
    ],
    "ok" : 1,
    "$gleStats" : {
        "lastOpTime" : {
            "ts" : Timestamp(1616394056, 1),
            "t" : NumberLong(1)
        },
        "electionId" : ObjectId("7fffffff0000000000000001")
    },
    "lastCommittedOpTime" : Timestamp(1616394119, 1),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616394119, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    },
    "operationTime" : Timestamp(1616394119, 1)
}

6. 路由节点的创建和操作

6.1第一个路由节点的创建和连接

准备存放数据和日志的目录:

#-----------mongos01
mkdir -p /etc/mongod/27017/
mkdir -p /var/log/mongodb/27017/

给创建的目录赋权限:

chown -R mongodb:mongodb /var/log/mongodb

mymongos_27017节点:
新建或修改配置文件:

vim /etc/mongod/27017/mongos.conf

mongos.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/var/log/mongodb/27017/mongod.log"
  #当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
  pidFilePath: "/var/run/mongodb/mongod_27017.pid"
  timeZoneInfo: /usr/share/zoneinfo
net:
  #服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,127.0.0.1
  #bindIp
  #绑定的端口
  port: 27017
sharding:
  #指定配置节点副本集
  configDB:
    myconfigrs/127.0.0.1:27019,127.0.0.1:27119,127.0.0.1:27219

启动mongos:

sudo -u mongodb -g mongodb mongos -f /etc/mongod/27017/mongos.conf

about to fork child process, waiting until server is ready for connections.
forked process: 3703
child process started successfully, parent exiting

提示:启动如果失败,可以查看 log目录下的日志,查看失败原因。

客户端登录mongos:

mongo --host 127.0.0.1 --port 27017

此时,写不进去数据,如果写数据会报错:

mongos> use alonzo
switched to db alonzo
mongos> db.user.insert({name:"zs"})
WriteCommandError({
    "ok" : 0,
    "errmsg" : "unable to initialize targeter for write op for collection alonzo.user :: caused by :: Database alonzo could not be created :: caused by :: No shards found",
    "code" : 70,
    "codeName" : "ShardNotFound",
    "operationTime" : Timestamp(1616395838, 2),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616395838, 2),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
})

原因:
通过路由节点操作,现在只是连接了配置节点,还没有连接分片数据节点,因此无法写入业务数据。

properties配置文件参考:

logpath=/mongodb/sharded_cluster/mymongos_27017/log/mongos.log
logappend=true
bind_ip_all=true
port=27017
fork=true
configdb=myconfigrs/127.0.0.1:27019,127.0.0.1:27119,127.0.0.1:27219
6.2 在路由节点上进行分片配置操作

使用命令添加分片:
(1)添加分片:
语法:

sh.addShard("IP:Port")

将第一套分片副本集添加进来:

sh.addShard("myshardrs01/localhost:27018,127.0.0.1:27118,127.0.0.1:27218")

注意:
添加副本的IP时,需要根据被添加副本中rs.status()中的ip填写否则会报错

查看分片状态情况:

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("605837199c42252507b7988b")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/127.0.0.1:27118,localhost:27018",  "state" : 1 }
  active mongoses:
        "4.2.13" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                No recent migrations
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }

继续将第二套分片副本集添加进来:

mongos> sh.addShard("myshardrs02/localhost:27318,127.0.0.1:27418,127.0.0.1:27518")
{
    "shardAdded" : "myshardrs02",
    "ok" : 1,
    "operationTime" : Timestamp(1616399229, 5),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616399229, 5),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

查看分片状态:

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("605837199c42252507b7988b")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/127.0.0.1:27118,localhost:27018",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/127.0.0.1:27418,localhost:27318",  "state" : 1 }
  active mongoses:
        "4.2.13" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                24 : Success
  databases:
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 1000
                                myshardrs02 24
                        too many chunks to print, use verbose if you want to force print

提示:如果添加分片失败,需要先手动移除分片,检查添加分片的信息的正确性后,再次添加分片。
移除分片参考(了解):

use admin
db.runCommand( { removeShard: "myshardrs02" } )

注意:如果只剩下最后一个 shard,是无法删除的
移除时会自动转移分片数据,需要一个时间过程。
完成后,再次执行删除分片命令才能真正删除

(2)开启分片功能:sh.enableSharding("库名")、sh.shardCollection("库名.集合名",{"key":1})
在mongos上的articledb数据库配置sharding:

mongos> sh.enableSharding("articledb")
{
    "ok" : 1,
    "operationTime" : Timestamp(1616400113, 5),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616400113, 5),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

查看分片状态:

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("605837199c42252507b7988b")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/127.0.0.1:27118,localhost:27018",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/127.0.0.1:27418,localhost:27318",  "state" : 1 }
  active mongoses:
        "4.2.13" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                512 : Success
  databases:
        {  "_id" : "articledb",  "primary" : "myshardrs02",  "partitioned" : true,  "version" : {  "uuid" : UUID("77fa0d00-be7c-45df-a882-fbc363ac3c03"),  "lastMod" : 1 } }
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 512
                                myshardrs02 512
                        too many chunks to print, use verbose if you want to force print

(3)集合分片
对集合分片,你必须使用 sh.shardCollection() 方法指定集合和分片键。
语法:

sh.shardCollection(namespace, key, unique)

参数:

Parameter Type Description
namespace string 要(分片)共享的目标集合的命名空间,格式: <database>.<collection>
key document 用作分片键的索引规范文档。shard键决定MongoDB如何在shard之间分发文档。除非集合为空,否则索引必须在shardcollection命令之前存在。如果集合为空,则MongoDB在对集合进行分片之前创建索引,前提是支持分片键的索引不存在。简单的说:由包含字段和该字段的索引遍历方向的文档组成。
unique boolean 当值为true情况下,片键字段上会限制为确保是唯一索引。哈希策略片键不支持唯一索引。默认是false。

对集合进行分片时,你需要选择一个 片键(Shard Key) , shard key 是每条记录都必须包含的,且建立了
索引的单个字段或复合字段,MongoDB按照片键将数据划分到不同的 数据块 中,并将 数据块 均衡地分布
到所有分片中.为了按照片键划分数据块,MongoDB使用 基于哈希的分片方式(随机平均分配)或者基
于范围的分片方式(数值大小分配) 。
用什么字段当片键都可以,如:nickname作为片键,但一定是必填字段。

分片规则一:哈希策略
对于 基于哈希的分片 ,MongoDB计算一个字段的哈希值,并用这个哈希值来创建数据块.
在使用基于哈希分片的系统中,拥有”相近”片键的文档 很可能不会 存储在同一个数据块中,因此数据的分
离性更好一些.
使用nickname作为片键,根据其值的哈希值进行数据分片

mongos> sh.shardCollection("articledb.comment",{"nickname":"hashed"})
{
    "collectionsharded" : "articledb.comment",
    "collectionUUID" : UUID("25ebf512-7180-45f6-9fef-ffb1551e3017"),
    "ok" : 1,
    "operationTime" : Timestamp(1616400856, 1),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616400856, 1),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

查看分片状态:

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("605837199c42252507b7988b")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/127.0.0.1:27118,localhost:27018",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/127.0.0.1:27418,localhost:27318",  "state" : 1 }
  active mongoses:
        "4.2.13" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                512 : Success
  databases:
        {  "_id" : "articledb",  "primary" : "myshardrs02",  "partitioned" : true,  "version" : {  "uuid" : UUID("77fa0d00-be7c-45df-a882-fbc363ac3c03"),  "lastMod" : 1 } }
                articledb.comment
                        shard key: { "nickname" : "hashed" }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 2
                                myshardrs02 2
                        { "nickname" : { "$minKey" : 1 } } -->> { "nickname" : NumberLong("-4611686018427387902") } on : myshardrs01 Timestamp(1, 0) 
                        { "nickname" : NumberLong("-4611686018427387902") } -->> { "nickname" : NumberLong(0) } on : myshardrs01 Timestamp(1, 1) 
                        { "nickname" : NumberLong(0) } -->> { "nickname" : NumberLong("4611686018427387902") } on : myshardrs02 Timestamp(1, 2) 
                        { "nickname" : NumberLong("4611686018427387902") } -->> { "nickname" : { "$maxKey" : 1 } } on : myshardrs02 Timestamp(1, 3) 
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 512
                                myshardrs02 512
                        too many chunks to print, use verbose if you want to force print

分片规则二:范围策略
对于基于范围的分片 ,MongoDB按照片键的范围把数据分成不同部分.假设有一个数字的片键:想象一个
从负无穷到正无穷的直线,每一个片键的值都在直线上画了一个点.MongoDB把这条直线划分为更短的不
重叠的片段,并称之为 数据块 ,每个数据块包含了片键在一定范围内的数据.
在使用片键做范围划分的系统中,拥有”相近”片键的文档很可能存储在同一个数据块中,因此也会存储在同
一个分片中.
如使用作者年龄字段作为片键,按照点赞数的值进行分片:

mongos> sh.shardCollection("articledb.author",{"age":1})
{
    "collectionsharded" : "articledb.author",
    "collectionUUID" : UUID("12ed4962-8fec-4cb0-84db-941a95e8e168"),
    "ok" : 1,
    "operationTime" : Timestamp(1616401052, 13),
    "$clusterTime" : {
        "clusterTime" : Timestamp(1616401052, 13),
        "signature" : {
            "hash" : BinData(0,"AAAAAAAAAAAAAAAAAAAAAAAAAAA="),
            "keyId" : NumberLong(0)
        }
    }
}

注意:
1)一个集合只能指定一个片键,否则报错。
2)一旦对一个集合分片,分片键和分片值就不可改变。 如:不能给集合选择不同的分片键、不能更新分片键的值。
3)根据age索引进行分配数据。

查看分片状态:

mongos> sh.status()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("605837199c42252507b7988b")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/127.0.0.1:27118,localhost:27018",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/127.0.0.1:27418,localhost:27318",  "state" : 1 }
  active mongoses:
        "4.2.13" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                512 : Success
  databases:
        {  "_id" : "articledb",  "primary" : "myshardrs02",  "partitioned" : true,  "version" : {  "uuid" : UUID("77fa0d00-be7c-45df-a882-fbc363ac3c03"),  "lastMod" : 1 } }
                articledb.author
                        shard key: { "age" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs02 1
                        { "age" : { "$minKey" : 1 } } -->> { "age" : { "$maxKey" : 1 } } on : myshardrs02 Timestamp(1, 0) 
                articledb.comment
                        shard key: { "nickname" : "hashed" }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 2
                                myshardrs02 2
                        { "nickname" : { "$minKey" : 1 } } -->> { "nickname" : NumberLong("-4611686018427387902") } on : myshardrs01 Timestamp(1, 0) 
                        { "nickname" : NumberLong("-4611686018427387902") } -->> { "nickname" : NumberLong(0) } on : myshardrs01 Timestamp(1, 1) 
                        { "nickname" : NumberLong(0) } -->> { "nickname" : NumberLong("4611686018427387902") } on : myshardrs02 Timestamp(1, 2) 
                        { "nickname" : NumberLong("4611686018427387902") } -->> { "nickname" : { "$maxKey" : 1 } } on : myshardrs02 Timestamp(1, 3) 
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 512
                                myshardrs02 512
                        too many chunks to print, use verbose if you want to force print

基于范围的分片方式与基于哈希的分片方式性能对比:
基于范围的分片方式提供了更高效的范围查询,给定一个片键的范围,分发路由可以很简单地确定哪个数据块存储了请求需要的数据,并将请求转发到相应的分片中.

不过,基于范围的分片会导致数据在不同分片上的不均衡,有时候,带来的消极作用会大于查询性能的积极作用.

比如,如果片键所在的字段是线性增长的,一定时间内的所有请求都会落到某个固定的数据块中,最终导致分布在同一个分片中.在这种情况下,一小部分分片承载了集群大部分的数据,系统并不能很好地进行扩展.

与此相比,基于哈希的分片方式以范围查询性能的损失为代价,保证了集群中数据的均衡.哈希值的随机性使数据随机分布在每个数据块中,因此也随机分布在不同分片中.但是也正由于随机性,一个范围查询很难确定应该请求哪些分片,通常为了返回需要的结果,需要请求所有分片.

如无特殊情况,一般推荐使用 Hash Sharding。而使用 _id 作为片键是一个不错的选择,因为它是必有的,你可以使用数据文档 _id 的哈希作为片键。这个方案能够是的读和写都能够平均分布,并且它能够保证每个文档都有不同的片键所以数据块能够很精细。
似乎还是不够完美,因为这样的话对多个文档的查询必将命中所有的分片。虽说如此,这也是一种比较好的方案了。
理想化的 shard key 可以让 documents 均匀地在集群中分布:


Diagram of good shard key distribution

显示集群的详细信息:

mongos> db.printShardingStatus()
--- Sharding Status --- 
  sharding version: {
    "_id" : 1,
    "minCompatibleVersion" : 5,
    "currentVersion" : 6,
    "clusterId" : ObjectId("605837199c42252507b7988b")
  }
  shards:
        {  "_id" : "myshardrs01",  "host" : "myshardrs01/127.0.0.1:27118,localhost:27018",  "state" : 1 }
        {  "_id" : "myshardrs02",  "host" : "myshardrs02/127.0.0.1:27418,localhost:27318",  "state" : 1 }
  active mongoses:
        "4.2.13" : 1
  autosplit:
        Currently enabled: yes
  balancer:
        Currently enabled:  yes
        Currently running:  no
        Failed balancer rounds in last 5 attempts:  0
        Migration Results for the last 24 hours: 
                512 : Success
  databases:
        {  "_id" : "articledb",  "primary" : "myshardrs02",  "partitioned" : true,  "version" : {  "uuid" : UUID("77fa0d00-be7c-45df-a882-fbc363ac3c03"),  "lastMod" : 1 } }
                articledb.author
                        shard key: { "age" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs02 1
                        { "age" : { "$minKey" : 1 } } -->> { "age" : { "$maxKey" : 1 } } on : myshardrs02 Timestamp(1, 0) 
                articledb.comment
                        shard key: { "nickname" : "hashed" }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 2
                                myshardrs02 2
                        { "nickname" : { "$minKey" : 1 } } -->> { "nickname" : NumberLong("-4611686018427387902") } on : myshardrs01 Timestamp(1, 0) 
                        { "nickname" : NumberLong("-4611686018427387902") } -->> { "nickname" : NumberLong(0) } on : myshardrs01 Timestamp(1, 1) 
                        { "nickname" : NumberLong(0) } -->> { "nickname" : NumberLong("4611686018427387902") } on : myshardrs02 Timestamp(1, 2) 
                        { "nickname" : NumberLong("4611686018427387902") } -->> { "nickname" : { "$maxKey" : 1 } } on : myshardrs02 Timestamp(1, 3) 
        {  "_id" : "config",  "primary" : "config",  "partitioned" : true }
                config.system.sessions
                        shard key: { "_id" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 512
                                myshardrs02 512
                        too many chunks to print, use verbose if you want to force print

查看均衡器是否工作(需要重新均衡时系统才会自动启动,不用管它):

mongos> sh.isBalancerRunning()
false

查看当前 Balancer状态:

mongos> sh.getBalancerState()
true
6.3 分片后插入数据测试

测试一(哈希规则):登录mongs后,向comment循环插入1000条数据做测试:

mongos> use articledb
switched to db articledb
mongos> for(var i=1;i<=1000;i++){db.comment.insert({_id:i+"",nickname:"BoBo"+i})}
WriteResult({ "nInserted" : 1 })

提示: js的语法,因为mongo的shell是一个JavaScript的shell。
注意:从路由上插入的数据,必须包含片键,否则无法插入。

分别登陆两个片的主节点,统计文档数量
第一个分片副本集:

mongo --host 127.0.0.1 --port 27018 
myshardrs01:PRIMARY> use articledb
switched to db articledb
myshardrs01:PRIMARY> db.comment.count()
507

第二个分片副本集:

mongo --host 127.0.0.1 --port 27318
myshardrs02:PRIMARY> use articledb
switched to db articledb
myshardrs02:PRIMARY> db.comment.count()
493

可以看到, 1000条数据近似均匀的分布到了2个shard上。是根据片键的哈希值分配的。
这种分配方式非常易于水平扩展:一旦数据存储需要更大空间,可以直接再增加分片即可,同时提升了
性能。
使用db.comment.stats()查看单个集合的完整情况,mongos执行该命令可以查看该集合的数据分片的
情况。
使用sh.status()查看本库内所有集合的分片信息。

测试二(范围规则):登录mongs后,向comment循环插入1000条数据做测试:

mongos> use articledb
switched to db articledb
mongos> for(var i=1;i<=20000;i++){db.author.save({"name":"BoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBo"+i,"age":NumberInt(i%120)})}
WriteResult({ "nInserted" : 1 })
mongos> db.author.count()
20000

插入成功后,仍然要分别查看两个分片副本集的数据情况。
分片效果:

mongos> sh.status()
#以下只截取一部分
articledb.author
                        shard key: { "age" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs02 1
                        { "age" : { "$minKey" : 1 } } -->> { "age" : { "$maxKey" : 1 } } on : myshardrs02 Timestamp(1, 0) 

发现并没有分片成功

提示:如果查看状态发现没有分片,则可能是由于以下原因造成了:
1)系统繁忙,正在分片中。
2)数据块(chunk)没有填满,默认的数据块尺寸(chunksize)是64M,填满后才会考虑向其他片的
数据块填充数据,因此,为了测试,可以将其改小,这里改为1M,操作如下:

下面我们试试看通过修改数据块大小以及修改过后的分片效果:

mongos> db.author.remove({})
WriteResult({ "nRemoved" : 20000 })
mongos> use config
switched to db config
mongos> db.settings.save( { _id:"chunksize", value: 1 } )
WriteResult({ "nMatched" : 0, "nUpserted" : 1, "nModified" : 0, "_id" : "chunksize" })
mongos> use articledb
switched to db articledb
mongos> for(var i=1;i<=20000;i++){db.author.save({"name":"BoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBoBo"+i,"age":NumberInt(i%120)})}
WriteResult({ "nInserted" : 1 })
mongos> sh.status()
                articledb.author
                        shard key: { "age" : 1 }
                        unique: false
                        balancing: true
                        chunks:
                                myshardrs01 2
                                myshardrs02 3
                        { "age" : { "$minKey" : 1 } } -->> { "age" : 0 } on : myshardrs01 Timestamp(2, 0) 
                        { "age" : 0 } -->> { "age" : 49 } on : myshardrs01 Timestamp(3, 0) 
                        { "age" : 49 } -->> { "age" : 100 } on : myshardrs02 Timestamp(2, 3) 
                        { "age" : 100 } -->> { "age" : 119 } on : myshardrs02 Timestamp(2, 4) 
                        { "age" : 119 } -->> { "age" : { "$maxKey" : 1 } } on : myshardrs02 Timestamp(3, 1)

测试完改回来:

db.settings.save( { _id:"chunksize", value: 64 } )

注意:要先改小,再设置分片。为了测试,可以先删除集合,重新建立集合的分片策略,再插入数据测试即可。

6.4 再增加一个路由节点
#-----------mongos02
mkdir -p /etc/mongod/27117/
mkdir -p /var/log/mongodb/27117/
chown -R mongodb:mongodb /var/log/mongodb

新建或修改配置文件:

/etc/mongod/27117/mongos.conf

mongos.conf

systemLog:
  #MongoDB发送所有日志输出的目标指定为文件
  destination: file
  #mongod或mongos应向其发送所有诊断日志记录信息的日志文件的路径
  path: "/var/log/mongodb/27117/mongod.log"
  #当mongos或mongod实例重新启动时,mongos或mongod会将新条目附加到现有日志文件的末尾。
  logAppend: true
processManagement:
  #启用在后台运行mongos或mongod进程的守护进程模式。
  fork: true
  #指定用于保存mongos或mongod进程的进程ID的文件位置,其中mongos或mongod将写入其PID
  pidFilePath: "/var/run/mongodb/mongod_27117.pid"
  timeZoneInfo: /usr/share/zoneinfo
net:
  #服务实例绑定所有IP,有副作用,副本集初始化的时候,节点名字会自动设置为本地域名,而不是ip
  #bindIpAll: true
  #服务实例绑定的IP
  bindIp: localhost,127.0.0.1
  #bindIp
  #绑定的端口
  port: 27117
sharding:
  #指定配置节点副本集
  configDB:
    myconfigrs/127.0.0.1:27019,127.0.0.1:27119,127.0.0.1:27219

启动mongos2:

mongos -f /etc/mongod/27117/mongos.conf  
about to fork child process, waiting until server is ready for connections.
forked process: 32205
child process started successfully, parent exiting

使用mongo客户端登录27117,发现,第二个路由无需配置,因为分片配置都保存到了配置服务器中了。

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 214,904评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,581评论 3 389
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 160,527评论 0 350
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,463评论 1 288
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,546评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,572评论 1 293
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,582评论 3 414
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,330评论 0 270
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,776评论 1 307
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,087评论 2 330
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,257评论 1 344
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,923评论 5 338
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,571评论 3 322
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,192评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,436评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,145评论 2 366
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,127评论 2 352

推荐阅读更多精彩内容