Ceph集群环境准备
基于本机搭建ceph集群及cephfs、cephrgw、cephrbd服务。
集群规划
- 生产环境
- 至少3台物理机组成Ceph集群
- 双网卡
- 测试环境
- 1台主机也可以
- 单网卡也可以
本文使用虚拟机搭建集群，集群设置如下
- mon集群：
- 3台虚拟机组成mon集群
- osd集群：
- 3台虚拟机组成osd集群
- 每台虚拟机上3个osd进程
- mgr集群：
- 3个mgr进程
在部署之前，首先需要介绍前期环境的准备工作
- 软件准备：VirtualBox，CentOS
- 安装虚拟机 (省略)
- 克隆虚拟机
下载CentOS镜像
点击CentOS 7.5 镜像Minimal ，这里我们下载Minimal版本，后面操作的时候，我们直接通过配置虚拟机IP，使得本机可以直接ssh访问虚拟机进行操作
安装CentOS虚拟机
创建虚拟机
- 打开VirtualBox，点击
新建，这时会新建一个虚拟机，命名为ceph-1,类型选择Linux，版本选择Other Linux - 内存设置：默认值为1G，直接下一步即可
- 创建虚拟硬盘：选择创建VDI，然后下一步
- 存储在物理盘：这里有两个选项-
动态分配或固定大小，这里选择动态分配
动态分配，这种方式下，创建一个2T的磁盘，实际只会占用计算机几十MB的空间，实际使用多少空间，才会占用多少空间，相当于用时分配。
固定大小，这种方式下，创建多大的盘就会占用多大的空间。
- 文件位置与大小：将空间大小设置为40G，这是用于系统盘
至此，虚拟机创建完成。
配置虚拟机
添加CentOS镜像
选择刚刚创建好的虚拟机，点击
设置->存储->控制器:IDE->没有盘片，点击右侧的光盘按钮，将刚刚下载的CentOS的镜像添加进来-
添加3个100G磁盘
添加新磁盘
配置网络
- 点击
设置->网络->网卡 1->连接方式->仅主机(Host-only)网络，用于设置固定IP, 如下图所示
网卡1 - 点击
网卡2-> 勾选启用网络连接->连接方式->网络地址转换(NAT)->界面名称-> vboxnet0这里的vboxnet0是在上一步中添加的，用于给VM上网,如下图所示：
网卡2
安装CentOS
步骤省略
配置网卡
vi /etc/sysconfig/network-scripts/ifcfg-enp0s3
改为一下内容
TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
#BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="enp0s3"
UUID="c1bbc90c-e856-4539-bd3e-00fbcad3e2ff"
DEVICE="enp0s3"
ONBOOT="yes"
BOOTPROTO=static # 改成static为静态， 默认是DHCP
IPADDR=192.168.56.101 # 静态IP地址
NETMASK=255.255.255.0 # 子网掩码
GATEWAY=192.168.56.2 # 网关IP
MM_CONTROLLED=yes
DNS1=114.114.114.114 # 设置DNS
DNS2=8.8.8.8 # 设置DNS2 以此类推
重启网卡
systemctl restart network
# 或者
/etc/init.d/network restart
修改主机名hostname
echo ceph-1 > /etc/hostname
然后重启机器，这样配置的hostname跟IP就会生效
修改yum源
这里将yum源修改成aliyun的源，指令如下:
yum clean all
curl http://mirrors.aliyun.com/repo/Centos-7.repo >/etc/yum.repos.d/CentOS-Base.repo
curl http://mirrors.aliyun.com/repo/epel-7.repo >/etc/yum.repos.d/epel.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/CentOS-Base.repo
sed -i '/aliyuncs/d' /etc/yum.repos.d/epel.repo
yum makecache
安装软件
yum -y install wget ntp vim
虚拟机ceph软件安装
配置ceph源
vim /etc/yum.repos.d/ceph.repo
在/etc/yum.repos.d/目录下新增一个ceph源文件ceph.repo,并写入下面内容：
# 这里版本使用15.2.4
[ceph]
name=ceph
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.4/el7/x86_64/
gpgcheck=0
[ceph-noarch]
name=cephnoarch
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.4/el7/noarch/
gpgcheck=0
[ceph-source]
name=ceph-source
baseurl=http://mirrors.aliyun.com/ceph/rpm-15.2.4/el7/SRPMS/
gpgcheck=0
安装ceph
yum clean all && yum makecache
yum -y install yum-plugin-priorities
yum -y install ceph ceph-radosgw
验证ceph是否安装完成：
[root@ceph-1 ~]# ceph -v
ceph version 15.2.4 (7447c15c6ff58d7fce91843b705a268a1917325c) octopus (stable)
克隆虚拟机
-
右键->复制 -
修改名称
修改名称
修改机器配置
登陆ceph-2
IP改为192.168.56.102 同上面
修改hostname
echo ceph-2 > /etc/hostname
登陆ceph-3
IP改为192.168.56.103 同上面
修改hostname
echo ceph-3 > /etc/hostname
最后，将各个主机的IP加入各自的/etc/hosts中:
vim /etc/hosts
# 添加一下内容
192.168.56.101 ceph-1
192.168.56.102 ceph-2
192.168.56.103 ceph-3
最后重启所有主机。
