MongoDB 分片集群搭建

摘要

  • 本文内容基于mongodb4.2.3
  • 本文基于本地安装,也就是ip相同,端口不同
  • 3个shard复制集(3台),1个config复制集(3台),2个router

安装MongoDB

下载地址 : https://www.mongodb.com/download-center

下载后解压即可,可以将bin目录配置到$PATH中

目录设计

├── config
│  ├── node1
│  │  ├── db
│  │  ├── logs
│  │  └── mongod.conf
│  ├── node2
│  │  ├── db
│  │  ├── logs
│  │  └── mongod.conf
│  └── node3
│     ├── db
│     ├── logs
│     └── mongod.conf
├── keyfile.key
├── router
│  ├── node1
│  │  ├── logs
│  │  └── mongos.conf
│  └── node2
│     ├── logs
│     └── mongos.conf
├── shard1
│  ├── node1
│  │  ├── db
│  │  ├── logs
│  │  └── mongod.conf
│  ├── node2
│  │  ├── db
│  │  ├── logs
│  │  └── mongod.conf
│  └── node3
│     ├── db
│     ├── logs
│     └── mongod.conf
├── shard2
│  ├── node1
│  │  ├── db
│  │  ├── logs
│  │  └── mongod.conf
│  ├── node2
│  │  ├── db
│  │  ├── logs
│  │  └── mongod.conf
│  └── node3
│     ├── db
│     ├── logs
│     └── mongod.conf
└── shard3
   ├── node1
   │  ├── db
   │  ├── logs
   │  └── mongod.conf
   ├── node2
   │  ├── db
   │  ├── logs
   │  └── mongod.conf
   └── node3
      ├── db
      ├── logs
      └── mongod.conf

端口分配

 shard1 28011~28013
 shard2 28021~28023
 shard3 28031~28033
 config 29011~29013
 router 29021~29022

配置文件

shard

以shard1为例,三个node下都有mongod.conf,要注意替换文件路径和端口

systemLog:
   destination: file
   path: "/Users/hanqf/myservice_dir/mongodb-mongos/shard1/node1/logs/mongo.log" #注意修改路径
   logAppend: true
storage:
   journal:
      enabled: true
   dbPath: "/Users/hanqf/myservice_dir/mongodb-mongos/shard1/node1/db" #注意修改路径
processManagement:
   fork: true
net:
   bindIp: 0.0.0.0
   port: 28011   #注意修改端口
setParameter:
   enableLocalhostAuthBypass: true
replication:
   replSetName: "shard1" #复制集名称
sharding:
   clusterRole: shardsvr #作为分片服务
security:
    authorization: "enabled"
    keyFile: /Users/hanqf/myservice_dir/mongodb-mongos/keyFile.key #密钥文件,用于集群内部认证

config

systemLog:
   destination: file
   path: "/Users/hanqf/myservice_dir/mongodb-mongos/config/node1/logs/mongo.log" #注意修改路径
   logAppend: true
storage:
   journal:
      enabled: true
   dbPath: "/Users/hanqf/myservice_dir/mongodb-mongos/config/node1/db" #注意修改路径
processManagement:
   fork: true
net:
   bindIp: 0.0.0.0
   port: 29011  #注意修改端口
setParameter:
   enableLocalhostAuthBypass: true
replication:
   replSetName: "config" #复制集名称
sharding:
   clusterRole: configsvr #作为配置服务
security:
  authorization: "enabled"
  keyFile: /Users/hanqf/myservice_dir/mongodb-mongos/keyFile.key #密钥文件,用于集群内部认证

router

systemLog:
   destination: file
   path: "/Users/hanqf/myservice_dir/mongodb-mongos/router/node1/logs/mongos.log" #注意修改路径
   logAppend: true
processManagement:
   fork: true
net:
   bindIp: 0.0.0.0
   port: 29021   #注意修改端口
setParameter:
   enableLocalhostAuthBypass: true
replication:
   localPingThresholdMs: 15
sharding:
   configDB: config/127.0.0.1:29011,127.0.0.1:29012,127.0.0.1:29013 #关联配置服务
security:
    keyFile: /Users/hanqf/myservice_dir/mongodb-mongos/keyFile.key #密钥文件,用于集群内部认证

keyFile

cd /Users/hanqf/myservice_dir/mongodb-mongos
openssl rand -base64 741 > keyFile.key
chmod 400 mongodb-keyfile

配置config复制集

启动

mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/config/node1/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/config/node2/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/config/node3/mongod.conf

登录及配置

#登录任意一台config
mongo --host 127.0.0.1:29011

>rs.initiate(
  {
    _id: "config",
    configsvr: true,
    members: [
      { _id : 0, host : "127.0.0.1:29011" },
      { _id : 1, host : "127.0.0.1:29012" },
      { _id : 2, host : "127.0.0.1:29013" }
    ]
  }
);

#创建超级管理员,此时要求登录的是主库
>rs.isMaster() #验证是否主库
>use admin
>db.createUser(
   {
     user: "root",
     pwd: "password",
     roles: [ { role: "root", db: "admin" } ]
   }
 );

验证用户是否可以登录

mongo --host 127.0.0.1:29011
>use admin
>db.auth("root","password")

配置shard复制集

启动shard1服务

mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard1/node1/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard1/node2/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard1/node3/mongod.conf

登录及配置

#登录任意一台config
mongo --host 127.0.0.1:28011

>rs.initiate(
  {
    _id: "shard1",
    members: [
      { _id : 0, host : "127.0.0.1:28011" },
      { _id : 1, host : "127.0.0.1:28012" },
      { _id : 2, host : "127.0.0.1:28013" }
    ]
  }
);

#创建超级管理员,此时要求登录的是主库
>rs.isMaster() #验证是否主库
>use admin
>db.createUser(
   {
     user: "root",
     pwd: "password",
     roles: [ { role: "root", db: "admin" } ]
   }
 );

启动shard2服务

mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard2/node1/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard2/node2/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard2/node3/mongod.conf

登录及配置

#登录任意一台config
mongo --host 127.0.0.1:28021

>rs.initiate(
  {
    _id: "shard2",
    members: [
      { _id : 0, host : "127.0.0.1:28021" },
      { _id : 1, host : "127.0.0.1:28022" },
      { _id : 2, host : "127.0.0.1:28023" }
    ]
  }
);

#创建超级管理员,此时要求登录的是主库
>rs.isMaster() #验证是否主库
>use admin
>db.createUser(
   {
     user: "root",
     pwd: "password",
     roles: [ { role: "root", db: "admin" } ]
   }
 );

启动shard3服务

mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard3/node1/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard3/node2/mongod.conf
mongod --config /Users/hanqf/myservice_dir/mongodb-mongos/shard3/node3/mongod.conf

登录及配置

#登录任意一台config
mongo --host 127.0.0.1:28031

>rs.initiate(
  {
    _id: "shard3",
    members: [
      { _id : 0, host : "127.0.0.1:28031" },
      { _id : 1, host : "127.0.0.1:28032" },
      { _id : 2, host : "127.0.0.1:28033" }
    ]
  }
);

#创建超级管理员,此时要求登录的是主库
>rs.isMaster() #验证是否主库
>use admin
>db.createUser(
   {
     user: "root",
     pwd: "password",
     roles: [ { role: "root", db: "admin" } ]
   }
 );

启动router服务

mongos --config /Users/hanqf/myservice_dir/mongodb-mongos/router/node1/mongos.conf
mongos --config /Users/hanqf/myservice_dir/mongodb-mongos/router/node2/mongos.conf

分片配置

登录任意router

mongo --host 127.0.0.1:29021
>use admin
>db.auth("root","password")

>sh.addShard( "shard1/127.0.0.1:28011,127.0.0.1:28012,127.0.0.1:28013")
>sh.addShard( "shard2/127.0.0.1:28021,127.0.0.1:28022,127.0.0.1:28023")
>sh.addShard( "shard3/127.0.0.1:28031,127.0.0.1:28032,127.0.0.1:28033")
#查看集群状态
>sh.status()

#创建数据库用户,客户端可以使用该用户连接mongo路由
>use springboot
>db.createUser(
   {
     user: "springboot",
     pwd: "123456",
     roles: [ { role: "dbOwner", db: "springboot" } ]
   }
  );

#指定要分片的数据库
>sh.enableSharding("springboot")
#指定集合的分片规则
#这里表示指定springboot库下的user集合的_id字段(也就是主键,每个集合都有这个字段)按hash散列进行分片,{ id : 1 }表示按字段id进度范围分片,这里id必须是整型
#要分片存储的集合都需要指定分片规则,分片规则一经创建不可修改,只能删除集合再重新设置
>sh.shardCollection("springboot.user", { _id : "hashed" } )

>use springboot
#查询user的集合状态
>db.user.stats()

注意

  • 正式环境注意权限控制,使客户端只能连接router
  • 可以创建任意多个router
  • springboot连接方式:
    spring.data.mongodb.uri=mongodb://springboot:123456@127.0.0.1:29021,127.0.0.1:29022/springboot?authSource=springboot
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容