NoSQL概述

随着互联网的高速发展,传统的面向关系型数据库渐渐无法满足高速实时 PB级 非结构化数据的存储.很快Not Only SQL数据库开始得到普遍的应用,如:面向文档的MongoDB,面向列的HBase/Cassandra,面向key-value的Redis,以及基于图像的Neo4j等.但是NoSQL旨在强调Key-Value和文档数据库的优点,并非单纯的反对关系型数据库.

结构化数据与非结构化数据

MongoDB

MongoDB是一种基于文档的开源数据库,具有高可用,可扩展和高性能的特点.

Document Database

MongoDB中一条记录对应一个文档,可以理解成key-value键值对的数据结构.文档与JSON对象非常相似,一个文档中可以包括其它文档,数组.这里将MongoDB与SQL中的概念进行罗列与类比.

MongoDB中的数据结构

主要优点

High Performance 高性能
MongoDB高性能体现在数据持久化上,其对嵌入式数据模型的支持降低了数据库系统的I/O操作,而索引库使其在数据查询上表现尤为出色.

Rich Query Language 丰富的查询语言
MongoDB不但支持简单的CRUD操作,还支持用户进行数据聚合,文本搜索以及基于地理位置的查询.

High Availability 高可用
MongoDB的数据高可用系统叫:replica set.它是一个由一组存有相同数据的镜像MongoDB服务组成,这一组服务器集群可以在主节点宕机时,自动完成选举迅速对外恢复访问接口;同时保证了单点访问的尴尬;集群中数据一致性通过主节点的oplog文件实现,所有从节点抓取日志,并将日志中的操作加载到内存中,从而保证数据一致性.

Horizontal Scalability 水平扩展
所谓水平扩展是相对垂直扩展而言的.通常,当系统性能不足时,如硬盘空间不足或内存吃紧时,很容易想到给服务器升级硬件,但但往往硬件的升级会带来相对较高的成本,而且是无止境的.试想,GOOGLE的每一台服务器都是相同配置的硬件,那么GOOGLE就太不会过日子了.

除了升级硬件,往往会选择多加几台配置相对较低的服务器,这就是水平扩展.MongoDB的replica set对水平扩展有很好的支持,只需要在一台服务器上装上MongoDB,让它与replica set处于可达的网段中,启动这台server的mongod服务即可.

Hello MongoDB

说了那么多,有点迫不急待的要去官网上找一下安装说明.我们也装一台MongoDB跑起来,俗话说是螺子是马拉出来溜溜.

不同的计算机环境,在搭建时步骤不尽相同,不可盲目根据他人的安装步骤操作,建议读者去官网找到与自己PC环境相同的安装说明
这是使用Linux Ret Hat CentOS6.5 64位系统
MongoDB分社区版和企业版,普通用户自己玩玩就下个社区版足以.

Step1 修改系统包管理器(RHEL是yum)
在/etc/yum.repos.d/目录下创建一个文件命名为mongodb-org-3.4.repo,这样可以通过yum为我们在线安装mongodb-3.4

$ cd /etc/yum.repos.d
$ sudo touch mongodb-org-3.4.repo
$ sudo vi mongodb-org-3.4.repo

将这段内容复制到mongodb-org-3.4.repo中

[mongodb-org-3.4]
name=MongoDB Repository
baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/
gpgcheck=1
enabled=1
gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc

Step2 安装MongoDB包及其依赖工具
表格中列出了MongoDB包及其依赖工具,用户只需安装mongodb-org即可,yum会根据org中保存的元数据自动为我们安装server,mongos,shell和tools.

$ sudo yum install mongodb-org -y

MongoDB3.4 Installing~

mongodb-org-server包为mongod服务启动提供了自动化脚本,用户可以根据配置文件修改mongod服务.这个配置文件是/etc/mongod.conf,该文件默认将bindIp设置为127.0.0.1,通常在搭建集群时,需要修改为用户在/etc/sysconfig/network文件中设置的主机名.否则,集群在初始化时,将无法识别这台主机.

修改主机名及mongod.conf文件

$ sudo vi /etc/sysconfig/network  
  # 主机ip 自己随意写一个主机
  # 如:10.211.55.111 mongodb1
$ sudo vi /etc/mongod.conf
  # bindIp mongodb1

Step3 测试MongoDB安装是否成功

$ sudo service mongod start
$ sudo service mongod status
# mongod(pid 进程号)is running
# 显示如上即安装成功

Step4 搭建MongoDB Replica Sets集群

集群结构与环境准备

replica set结构

测试MongoDB之间的通信

# 在zk1上测试与zk2,zk3的通信
$ sudo mongo --host zk2 --port 27017
$ sudo mongo --host zk3 --port 27017

同理

# 在zk2上测试与zk1,zk3的通信
$ sudo mongo --host zk1 --port 27017
$ sudo mongo --host zk3 --port 27017

同理

# 在zk3上测试与zk1,zk2的通信
$ sudo mongo --host zk1 --port 27017
$ sudo mongo --host zk2 --port 27017

结果如下则成功

看看是不是这样,不是回去反思一下

开始配置

4.1启动集群下的第一台MongoDB服务
zk1上启动MongoDB的守护进程mongod.zk2与zk3做相同的操作,不同处为rs0-1,rs0-2.

# --replSet: replica set 集群名称
# --dbpath: mongodb服务器数据存储目录
$ sudo mkdir /srv/mongodb/rs0-0
$ sudo mongod --port 27017 --dbpath /srv/mongodb/rs0-0 --replSet rs0

4.2通过mongo shell脚本连接replica set "rs0"

$ mongo --host zk1 --port 27017

4.3初始化replica set
NOTE: 只对三个MongoDB实例中的一个进行初始化!!!这里对zk2初始化

> rs.initiate()
> {
    "info2" : "no configuration specified. Using a default configuration for the set",
    "me" : "zk2:27017",
    "ok" : 1
}
> rs.conf()
> {
    "_id" : "rs0",
    "version" : 1,
    "protocolVersion" : NumberLong(1),
    "members" : [
        {
            "_id" : 0,
            "host" : "zk2:27017",
            "arbiterOnly" : false,
            "buildIndexes" : true,
            "hidden" : false,
            "priority" : 1,
            "tags" : {

            },
            "slaveDelay" : NumberLong(0),
            "votes" : 1
        }
    ],
    "settings" : {
        "chainingAllowed" : true,
        "heartbeatIntervalMillis" : 2000,
        "heartbeatTimeoutSecs" : 10,
        "electionTimeoutMillis" : 10000,
        "catchUpTimeoutMillis" : 2000,
        "getLastErrorModes" : {

        },
        "getLastErrorDefaults" : {
            "w" : 1,
            "wtimeout" : 0
        },
        "replicaSetId" : ObjectId("58679a46b38415c5ce99b572")
    }
}

4.4给replica set添加节点
使用rs.add()添加成员之前, 必须确保你的mongo shell连接的是primary节点,我通过4.3将zk2初始化后,它成了replica set "rs0"的primary节点.这里带需要将zk1,zk3添加到集群中来.

rs0:PRIMARY> rs.add("zk1:27017")
> { "ok" : 1 }
rs0:PRIMARY> rs.add("zk3:27017")
> { "ok" : 1 }
rs0:PRIMARY> rs.status()
> {
    "set" : "rs0",
    "date" : ISODate("2016-12-31T12:15:48.927Z"),
    "myState" : 1,
    "term" : NumberLong(1),
    "heartbeatIntervalMillis" : NumberLong(2000),
    "optimes" : {
        "lastCommittedOpTime" : {
            "ts" : Timestamp(1483186542, 1),
            "t" : NumberLong(1)
        },
        "appliedOpTime" : {
            "ts" : Timestamp(1483186542, 1),
            "t" : NumberLong(1)
        },
        "durableOpTime" : {
            "ts" : Timestamp(1483186542, 1),
            "t" : NumberLong(1)
        }
    },
    "members" : [
        {
            "_id" : 0,
            "name" : "zk2:27017",
            "health" : 1,
            "state" : 1,
            "stateStr" : "PRIMARY",
            "uptime" : 1885,
            "optime" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2016-12-31T12:15:42Z"),
            "electionTime" : Timestamp(1483184711, 1),
            "electionDate" : ISODate("2016-12-31T11:45:11Z"),
            "configVersion" : 3,
            "self" : true
        },
        {
            "_id" : 1,
            "name" : "zk3:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 1469,
            "optime" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2016-12-31T12:15:42Z"),
            "optimeDurableDate" : ISODate("2016-12-31T12:15:42Z"),
            "lastHeartbeat" : ISODate("2016-12-31T12:15:48.327Z"),
            "lastHeartbeatRecv" : ISODate("2016-12-31T12:15:47.312Z"),
            "pingMs" : NumberLong(0),
            "syncingTo" : "zk2:27017",
            "configVersion" : 3
        },
        {
            "_id" : 2,
            "name" : "zk1:27017",
            "health" : 1,
            "state" : 2,
            "stateStr" : "SECONDARY",
            "uptime" : 72,
            "optime" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDurable" : {
                "ts" : Timestamp(1483186542, 1),
                "t" : NumberLong(1)
            },
            "optimeDate" : ISODate("2016-12-31T12:15:42Z"),
            "optimeDurableDate" : ISODate("2016-12-31T12:15:42Z"),
            "lastHeartbeat" : ISODate("2016-12-31T12:15:48.327Z"),
            "lastHeartbeatRecv" : ISODate("2016-12-31T12:15:48.451Z"),
            "pingMs" : NumberLong(0),
            "syncingTo" : "zk3:27017",
            "configVersion" : 3
        }
    ],
    "ok" : 1
}

至此一个完整的分布式Replica Sets配置成功!尽情在MongoDB上挥洒青春吧!

参考资料

• 1 MongoDB教程
• 2 Introduction to MongoDB
• 3 Install MongoDB Conmmunitiy on Red Hat
• 4 The mongo Shell
• 5 Sharding
• 6 Replication
• 7 Deploy a Replica Set
• 8 Deploy a Replica Set for Testing and Development
• 9 Replica Set Deployment Architectures

2017寄语

我已经学会不再等待.终究抵不过内心的一点期望,也会想要在这个盲目庆祝的夜晚文艺一把,尽管不知道你会不会来,但我始终在等待,或许会在这片土地上站成永恒.一个人的精彩也是一种烟火,只是寂寞程度不同罢了.

博文地址