一. 安装 CEPH 部署工具

在各节点上安装启用软件仓库，启用可选软件库

sudo yum install -y yum-utils 
 
sudo yum-config-manager --add-repo https://dl.fedoraproject.org/pub/epel/7/x86_64/ && sudo yum install --nogpgcheck -y epel-release && sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7 && sudo rm /etc/yum.repos.d/dl.fedoraproject.org*

sudo yum install yum-plugin-priorities

安装ntp

sudo yum install ntp ntpdate ntp-doc

分别这三个节点上存储创建用户且赋予它root权限(这里用的是dhhy)

sudo useradd -d /home/dhhy  -m  dhhy 
#输入密码这里建议三台服务器密码设为一致
sudo passwd dhhy  
passwd 1

授予无密码sudo权限

echo "dhhy ALL = (root) NOPASSWD:ALL" >> /etc/sudoers.d/dhhy

sudo chmod 0440 /etc/sudoers.d/dhhy

5.允许无密码 SSH 登录

正因为 ceph-deploy 不支持输入密码，你必须在管理节点上生成 SSH 密钥并把其公钥分发到各 Ceph 节点。 ceph-deploy 会尝试给初始 monitors 生成 SSH 密钥对。

5.1 生成 SSH 密钥对，但不要用 sudo 或 root 用户。提示 “Enter passphrase” 时，直接回车，口令即为空：

切换用户
su dhhy
生成key
ssh-keygen

Generating public/private key pair.
Enter file in which to save the key (/ceph-admin/.ssh/id_rsa):
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /ceph-admin/.ssh/id_rsa.
Your public key has been saved in /ceph-admin/.ssh/id_rsa.pub.

增加一下hosts

sudo vi /etc/hosts
加一句
192.168.1.7(用相对应的IP)  node1
192.168.1.19(用相对应的IP)  node2

把公钥拷贝到各 Ceph 节点上

# ssh-copy-id  dhhy@node1

# ssh-copy-id  dhhy@node2

关闭selinux 并重启

sudo vi /etc/selinux/config

修改 SELINUX=disabled

在各节点上创建ceph 源（本人这里选择的jewel，这里推荐使用网易或阿里的ceph源，若用官方源文件会很慢而且容易出现下载失败中断等问题，本人深受下载官方源的坑害）

二. 设置yum源并安装ceph-deploy

在 /etc/yum.repos.d/目录下创建 ceph.repo然后写入以下内容

vim /etc/yum.repos.d/ceph.repo

[Ceph]
name=Ceph packages for $basearch
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/$basearch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1

[Ceph-noarch]
name=Ceph noarch packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/noarch
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1

[ceph-source]
name=Ceph source packages
baseurl=http://mirrors.163.com/ceph/rpm-jewel/el7/SRPMS
enabled=1
gpgcheck=0
type=rpm-md
gpgkey=https://mirrors.163.com/ceph/keys/release.asc
priority=1

在管理节点nod1上进行安装准备（使用dhhy用户）

2.1切换用户

 su dhhy

新建文件夹ceph-cluster

$cd ~

$mkdir ceph-cluster

$cd ceph-cluster

安装ceph-deploy

sudo yum install ceph-deploy

或者:
rpm -ivh http://download.ceph.com/rpm-jewel/el7/noarch/ceph-deploy-1.5.39-0.noarch.rpm

三. 安装ceph创建集群

在管理节点node1 上修改~/.ssh/config文件(若没有则创建)增加一下内容：


Host    node1

Hostname  192.168.1.24

User              dhhy

Host    node2

Hostname  192.168.1.25

User              dhhy

Host    node3

Hostname  192.168.1.26

User              dhhy

进入到创建ceph-cluster文件夹下，执行命令

先退出dhhy用户
exit
然后

cd /home/dhhy/ceph-cluster

如果在任何时候遇到问题并想重新开始，请执行以下操作清除Ceph软件包，并清除所有数据和配置：

ceph-deploy purge node1 node2
ceph-deploy purgedata node1 node2
ceph-deploy forgetkeys && rm ceph.*

创建一个群集

sudo ceph-deploy new node1 node2

如果报无法解析ceph-deploy new: error: hostname: node2 is not resolvable,看下hosts是否有问题

error

安装ceph创建集群

7.1 在生成的ceph.conf中加入（写入[global] 段下）

vi ceph.conf

加入下面一行
osd pool default size = 2

如果你有多个网卡，可以把 public network 写入 Ceph 配置文件的 [global] 段下

#public network = {ip-address}/{netmask}

安装ceph

# ceph-deploy install node1 node2

配置初始 monitor(s)、并收集所有密钥

# ceph-deploy mon create-initial

新建osd

11.1添加两个 OSD ，登录到 Ceph 节点、并给 OSD 守护进程创建一个目录。

#ssh node2

#sudo mkdir /var/local/osd0

#exit

 

#ssh node3

#sudo mkdir /var/local/osd1

#exit

11.2 然后，从管理节点执行 ceph-deploy 来准备 OSD

#ceph-deploy osd prepare node2:/var/local/osd0 node3:/var/local/osd1

11.3 最后，激活 OSD

#ceph-deploy osd activate node2:/var/local/osd0 node3:/var/local/osd1

11.4如果出现** ERROR: error creating empty object store in /var/local/osd0: (13) Permission denie这个是权限有问题无法启动osd盘,解决方法:

ceph集群需要使用的所有磁盘权限，所属用户、用户组改给ceph

chown -R ceph:ceph /var/local/osd0/

错误：

[node1][WARNIN] 2018-04-02 14:35:52.254845 7fc312a4d800 -1  ** ERROR: error creating empty object store in /var/local/osd0: (13) Permission denied
[node1][WARNIN] 
[node1][ERROR ] RuntimeError: command returned non-zero exit status: 1
[ceph_deploy][ERROR ] RuntimeError: Failed to execute command: /usr/sbin/ceph-disk -v activate --mark-init systemd --mount /var/local/osd0

image.png

11.4 确保你对 ceph.client.admin.keyring 有正确的操作权限。

    #sudo chmod +r /etc/ceph/ceph.client.admin.keyring

检查集群的健康状况

#ceph health等 peering 完成后，集群应该达到 active + clean 状态。

----------------------------------------------------------------------

错误 :

ceph-deploy出错UnableToResolveError Unable to resolve host

ps：在本文中，假设我系统的hostname为node1。
　　使用ceph-deploy命令搭建Ceph集群，执行ceph new node1时，出现如下错误：

[node1][INFO  ] Running command: /bin/ip addr show
[node1][DEBUG ] IP addresses found: ['192.168.56.16', '172.17.0.1', '10.0.2.15']
[ceph_deploy.new][DEBUG ] Resolving host node1
[ceph_deploy][ERROR ] UnableToResolveError: Unable to resolve host: node1

调用该命令之前，已经设置了ssh免密码登录，并且都可以ping通和免密码登录到node1的。

原因:

Ubuntu/centos中有一个让人头痛的特性，就是在/etc/hosts配置文件中，让hostname使用了它的回环loopback地址。这个特性使得很多服务无法检测到真正的地址，这里，ceph-deploy中，ceph_deploy.util.get_nonlocal_ip获取到的是127网段的地址，然后就报错不能解析hostname了。

解决方法:

在/etc/hosts中，把回环地址对应的hostname给删除掉。再添加一行真正的ip地址和hostname的对应关系，即可。

下面错误要同步配置文件,命令:ceph-deploy --overwrite-conf config push node1 node2

[ceph_deploy.mon][ERROR ] RuntimeError: config file /etc/ceph/ceph.conf exists with different content; use --overwrite-conf to overwrite
[ceph_deploy][ERROR ] GenericError: Failed to create 1 monitors

CEPH学习（一）centos 7.4 快速部署