centos7简单搭建ceph集群

一、ceph介绍

1、Ceph基础介绍

  Ceph是一个可靠地、自动重均衡、自动恢复的分布式存储系统，根据场景划分可以将Ceph分为三大块，分别是对象存储、块设备存储和文件系统服务。在虚拟化领域里，比较常用到的是Ceph的块设备存储，比如在OpenStack项目里，Ceph的块设备存储可以对接OpenStack的cinder后端存储、Glance的镜像存储和虚拟机的数据存储，比较直观的是Ceph集群可以提供一个raw格式的块存储来作为虚拟机实例的硬盘。

  Ceph相比其它存储的优势点在于它不单单是存储，同时还充分利用了存储节点上的计算能力，在存储每一个数据时，都会通过计算得出该数据存储的位置，尽量将数据分布均衡，同时由于Ceph的良好设计，采用了CRUSH算法、HASH环等方法，使得它不存在传统的单点故障的问题，且随着规模的扩大性能并不会受到影响。

2、Ceph的核心组件

  Ceph的核心组件包括Ceph OSD、Ceph Monitor和Ceph MDS。

  Ceph OSD：OSD的英文全称是Object Storage Device，它的主要功能是存储数据、复制数据、平衡数据、恢复数据等，与其它OSD间进行心跳检查等，并将一些变化情况上报给Ceph Monitor。一般情况下一块硬盘对应一个OSD，由OSD来对硬盘存储进行管理，当然一个分区也可以成为一个OSD。

  Ceph OSD的架构实现由物理磁盘驱动器、Linux文件系统和Ceph OSD服务组成，对于Ceph OSD Deamon而言，Linux文件系统显性的支持了其拓展性，一般Linux文件系统有好几种，比如有BTRFS、XFS、Ext4等，BTRFS虽然有很多优点特性，但现在还没达到生产环境所需的稳定性，一般比较推荐使用XFS。

  伴随OSD的还有一个概念叫做Journal盘，一般写数据到Ceph集群时，都是先将数据写入到Journal盘中，然后每隔一段时间比如5秒再将Journal盘中的数据刷新到文件系统中。一般为了使读写时延更小，Journal盘都是采用SSD，一般分配10G以上，当然分配多点那是更好，Ceph中引入Journal盘的概念是因为Journal允许Ceph OSD功能很快做小的写操作；一个随机写入首先写入在上一个连续类型的journal，然后刷新到文件系统，这给了文件系统足够的时间来合并写入磁盘，一般情况下使用SSD作为OSD的journal可以有效缓冲突发负载。

  Ceph Monitor：由该英文名字我们可以知道它是一个监视器，负责监视Ceph集群，维护Ceph集群的健康状态，同时维护着Ceph集群中的各种Map图，比如OSD Map、Monitor Map、PG Map和CRUSH Map，这些Map统称为Cluster Map，Cluster Map是RADOS的关键数据结构，管理集群中的所有成员、关系、属性等信息以及数据的分发，比如当用户需要存储数据到Ceph集群时，OSD需要先通过Monitor获取最新的Map图，然后根据Map图和object id等计算出数据最终存储的位置。

  Ceph MDS：全称是Ceph MetaData Server，主要保存的文件系统服务的元数据，但对象存储和块存储设备是不需要使用该服务的。

  查看各种Map的信息可以通过如下命令：ceph osd(mon、pg) dump

二、环境：

Centos7
192.168.20.148 ceph01
192.168.20.149 ceph02
ceph01将作为admin、osd1、 mon （主节点、OSd节点、监控节点）
ceph02将作为osd2
关闭防火墙、Selinux
修改两台主机的hosts文件

[root@ceph01 ~]# cat /etc/hosts
192.168.20.148 ceph01
192.168.20.149 ceph02
[root@ceph02 ~]# cat /etc/hosts
192.168.20.148 ceph01
192.168.20.149 ceph02

节点ceph01额外添加了两块硬盘，ceph02额外添加了一块。且磁盘不必挂载。

三、设置主机免密ssh访问

1、在ceoh01上面执行

[root@ceph01 ~]# ssh-keygen        //一直按回车即可,产生公钥私钥对

2、将ceph01产生的公钥复制到ceph01和ceph02上，这样可以使用ceph01无密码登录ceph01和ceph02

[root@ceph01 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub ceph01
[root@ceph01 ~]# ssh-copy-id -i /root/.ssh/id_rsa.pub ceph02

测试：
ssh ceph01
ssh ceph02
发现登录时不用输入密码就算设置成功。

四、设置镜像源（所有节点都需要）

1、备份默认源

[root@ceph01 ~]# cat /etc/hosts mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

2、下载阿里云的base源和epel源

[root@ceph01 ~]# wget -O /etc/yum.repos.d/CentOS-Base.repo [http://mirrors.aliyun.com/repo/Centos-7.repo](http://mirrors.aliyun.com/repo/Centos-7.repo)

[root@ceph01 ~]# wget -O /etc/yum.repos.d/epel.repo [http://mirrors.aliyun.com/repo/epel-7.repo](http://mirrors.aliyun.com/repo/epel-7.repo)

3、添加ceph源，创建文件并将内容拷贝到其中，此处采用的是阿里的镜像

[root@ceph01 ~]# vim /etc/yum.repos.d/ceph.repo
[Ceph]
name=Ceph packages for $basearch
baseurl=[http://mirrors.aliyun.com/ceph/rpm-luminous/el7/$basearch]
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=[https://download.ceph.com/keys/release.asc]
[Ceph-noarch]
name=Ceph noarch packages
baseurl=[http://mirrors.aliyun.com/ceph/rpm-luminous/el7/noarch]
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=[https://download.ceph.com/keys/release.asc]
[ceph-source]
name=Ceph source packages
baseurl=[http://mirrors.aliyun.com/ceph/rpm-luminous/el7/SRPMS]
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=[https://download.ceph.com/keys/release.asc]

4、安装配置ntp服务

[root@ceph01 ~]# yum -y install ntp ntpdate ntp-doc
[root@ceph01 ~]# ntpdate [0.us.pool.ntp.org](http://0.us.pool.ntp.org)
[root@ceph01 ~]# hwclock --systohc
[root@ceph01 ~]# systemctl enable ntpd.service
[root@ceph01 ~]# systemctl start ntpd.service

五、ceph软件及存储集群安装
1、安装ceph-deploy 在管理节点上（ceph01）安装

[root@ceph01 ~]# yum install ceph-deploy –y

2、集群初始化及指定监控节点（mon）
创建运行文件夹/etc/ceph，后续安装命令均在此文件夹下执行（后续新增节点时也要创建该目录）如创建的目录不是/etc/ceph，软件安装会自动生成该文件夹，且集群运行使用的会是etc下的配置，同时修改本地配置需进行推送配置到/etc/ceph

[root@ceph01 ~]# mkdir /etc/ceph 
[root@ceph01 ~]# cd /etc/ceph

创建集群，在ceph01执行以下命令，ceph01相当于监控节点

[root@ceph01 ceph]# ceph-deploy new ceph01

3、修改ceph.conf文件

[root@ceph01 ceph]# vim ceph.conf

追加以下内容

# 存储集群副本个数

osd_pool_default_size = 2

以下内容根据需求追加

# 非必须，多网卡需配置

#public_network = 172.16.30.0/24

#cluster_network = 172.16.31.0/24

# 允许在degraded状态下只写两次对象

osd_pool_default_min_size = 1

# 池的pg数量，具体计算公式请参见附录

osd_pool_default_pg_num = 128

# pgp数量需要与pg数量相同

osd_pool_default_pgp_num = 128

# CRUSH规则用到chooseleaf时的bucket的类型，默认值1

osd_crush_chooseleaf_type = 0

objecter_inflight_ops = 10240 // 客户端流控,允许的最大未发送io请求数,超过阀值会堵塞应用io,为0表示不受限 默认值 1024

objecter_inflight_op_bytes = 1048576000    // 客户端流控，允许的最大未发送脏数据，超过阀值会堵塞应用io，为0表示不受限  默认值 100M

[mon]

# 时间偏移

mon_clock_drift_allowed = 0.5

[osd]

osd op threads = 8 # 处理peering等请求的线程数

osd disk threads = 4 # 处理snap trim，replica trim及scrub等的线程数

osd_max_write_size = 1024 //一次写入最大的MB数（默认90）

max_open_files = 655350 # 如果这个参数被设置，那么Ceph集群启动时，就会在操作系统层面设置最大打开文件描述符。这就避免OSD进程出现与文件描述符不足的情况。参数的缺省值为0

mon_pg_warn_max_per_osd = 1000 //每个osd 多对应的最大 pg 数量，超过该值会报警：too many PGs per OSD

mon_osd_backfillfull_ratio = 0.85 // pg 迁移时当某个osd 空间使用率抄过在这个值，就会拒绝pg 的迁移请求 ，这个值可以适当调大 0.85

mon_osd_full_ratio = 0.95 // 被认为集群已满的最大使用百分比（默认.95）

mon_osd_nearfull_ratio = 0.85 // osd full 设置，当osd 空间使用率超过该值时就会报警  可以适当调大 0.85

mon_osd_down_out_interval = 300 //默认值 300 seconds ceph标记一个osd为down and out的最大时间间隔

mon_osd_min_down_reporters = 2 // mon标记一个osd为down的最小reporters个数（其他osd报告该osd为down的个数称为一个reporter） 默认值 2

mon_osd_report_timeout = 900 // mon标记一个osd为down的最长等待时间  默认值 900

objecter_inflight_ops = 10240 // 客户端流控,允许的最大未发送io请求数,超过阀值会堵塞应用io,为0表示不受限 默认值 1024

objecter_inflight_op_bytes = 1048576000    // 客户端流控，允许的最大未发送脏数据，超过阀值会堵塞应用io，为0表示不受限  默认值 100M

4、安装ceph

[root@ceph01 ceph]# 11ceph-deploy install --no-adjust-repos ceph01 ceph02

注意：此处执行安装的时候一定要加上--no-adjust-repos（除非想要安装最新的版本）
原因：如果不加上这个参数ceph会自动的修改 /etc/yum.repos.d/ceph.repo 文件，把源改成官方的源。
5、初始化集群监控

[root@ceph01 ceph]# ceph-deploy mon create-initial

6、创建osd
删除磁盘数据

[root@ceph01 ceph]# ceph-deploy disk zap ceph01 /dev/vdb
[root@ceph01 ceph]# ceph-deploy disk zap ceph01 /dev/vdc
[root@ceph01 ceph]# ceph-deploy disk zap ceph02 /dev/vdb

创建osd(一共三个)

[root@ceph01 ceph]# ceph-deploy osd create ceph01 --data /dev/vdb
[root@ceph01 ceph]# ceph-deploy osd create ceph01 --data /dev/vdc 
[root@ceph01 ceph]# ceph-deploy osd create ceph02 --data /dev/vdb

7、ceph秘钥拷贝（主节点执行）及修改密钥权限
用 ceph-deploy 把配置文件和 admin 密钥拷贝到管理节点和 Ceph 节点，这样你每次执行 Ceph 命令行时就无需指定 monitor 地址和 ceph.client.admin.keyring 了

[root@ceph01 ceph]# ceph-deploy admin ceph01 ceph02

修改密钥权限（所有节点上执行）

[root@ceph01 ceph] # chmod +r /etc/ceph/ceph.client.admin.keyring
[root@ceph02] # chmod +r /etc/ceph/ceph.client.admin.keyring

8、创建mgr守护进程
建议在每个 mon 中都创建独立的 ceph-mgr，只会active一个，其他的standby

[root@ceph01 ceph]# ceph-deploy mgr create ceph01

9、查看集群状态

[root@ceph01 ceph]# ceph health
HEALTH_OK

[root@ceph01 ceph]# ceph -s
  cluster:
    id:     3c2f5702-3531-4180-be4e-df406040c5cc
    health: HEALTH_OK
 
  services:
    mon: 1 daemons, quorum ceph01
    mgr: ceph01(active)
    osd: 3 osds: 3 up, 3 in     //3个
 
  data:
    pools:   0 pools, 0 pgs
    objects: 0 objects, 0B
    usage:   3.01GiB used, 117GiB / 120GiB avail
    pgs:     
[root@ceph01 ceph]# ceph df
GLOBAL:
    SIZE       AVAIL      RAW USED     %RAW USED 
    120GiB     117GiB      3.01GiB          2.50 
POOLS:
NAME     ID     USED     %USED     MAX AVAIL     OBJECTS

六、dashboard配置（ceph01节点上操作）
1、dashboard其实就是一个web管理后台
修改/etc/ceph/ceph.conf，增加如下配置

[root@ceph01 ceph]# vim ceph.conf
[mgr]
mgr modules = dashboard

2、将主节点上的配置文件推送到从节点（ceph01上执行）

[root@ceph01 ceph]# ceph-deploy --overwrite-conf config push ceph01 ceph02

3、查看当前集群在使用哪几个模块

[root@ceph01 ceph]# ceph mgr dump
{
    "epoch": 27,
    "active_gid": 4118,
    "active_name": "ceph01",
    "active_addr": "192.168.20.148:6804/12748",
    "available": true,
    "standbys": [],
    "modules": [
        "balancer",
        "restful",
        "status"
    ],
    "available_modules": [
        "balancer",
        "dashboard",
        "influx",
        "localpool",
        "prometheus",
        "restful",
        "selftest",
        "status",
        "zabbix"
    ],
    "services": {}
}

4、使dashboard可用

[root@ceph01 ceph]# ceph mgr module enable dashboard

5、查看是否支持dashboard

[root@ceph01 ceph]# ceph mgr module ls
{
    "enabled_modules": [
        "balancer",
        "dashboard",
        "restful",
        "status"
    ],
    "disabled_modules": [
        "influx",
        "localpool",
        "prometheus",
        "selftest",
        "zabbix"
    ]
}

6、置dashboard web网页监控的ip及端口（根据需求配置）10.27.0.130为此主机外网ip

[root@ceph01 ceph]# ceph config-key put mgr/dashboard/server_addr 10.27.0.130     
set mgr/dashboard/server_addr
[root@ceph01 ceph]# ceph config-key put mgr/dashboard/server_port 7000
set mgr/dashboard/server_port

可以使用此命令查看当前设置的值

[root@ceph01 ceph]# ceph config-key dump
{
    "mgr/dashboard/server_addr": "10.27.0.130",
    "mgr/dashboard/server_port": "7000"
}

现在就可以访问了


image.png
最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 212,080评论 6赞 493
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 90,422评论 3赞 385
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 157,630评论 0赞 348
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 56,554评论 1赞 284
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 65,662评论 6赞 386
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 49,856评论 1赞 290
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 39,014评论 3赞 408
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 37,752评论 0赞 268
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 44,212评论 1赞 303
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,541评论 2赞 327
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,687评论 1赞 341
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 34,347评论 4赞 331
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 39,973评论 3赞 315
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,777评论 0赞 21
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,006评论 1赞 266
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 46,406评论 2赞 360
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 43,576评论 2赞 349