环境准备
- 操作系统： Centos 7.9.2009 (Core)
| IP | 主机名 | 备注 |
|---|---|---|
| 10.1.1.1 | cdh01 | 主节点 |
| 10.1.1.2 | cdh02 | |
| 10.1.1.3 | cdh03 |
假定三台服务器均已启用时间同步（ntp），且均可访问外网。
- 三台主机分别修改主机名、系统参数等
hostnamectl set-hostname cdh01
hostnamectl set-hostname cdh02
hostnamectl set-hostname cdh03
- 修改hosts（以下操作如无特殊说明，均在所有节点执行）
cat >>/etc/hosts<<EOF
10.1.1.1 cdh01
10.1.1.2 cdh02
10.1.1.3 cdh03
EOF
- 停防火墙、selinux（或单独开放端口及权限）
systemctl stop firewalld
systemctl disable firewalld
setenforce 0
sed -i 's/SELINUX=enforcing/SELINUX=disable/g' /etc/selinux/config
- 配置yum源（这里直接使用官方的源）
curl https://archive.cloudera.com/cm6/6.2.1/redhat7/yum/cloudera-manager.repo > /etc/yum.repos.d/cm6.repo
- 修改系统参数
echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled
echo vm.swappiness=0 >> /etc/sysctl.conf
执行sysctl -p使系统参数生效
sysctl -p
数据库配置
安装mysql或mariadb（过程略）
创建cdh所需数据库及用户，这里需要注意数据库字符集需要设置为utf-8,使用默认字符集后面会出现一些奇怪的问题。
CREATE DATABASE scm DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
创建数据库用户过程略，这里演示的话直接使用root用户。
安装jdk
这里使用oracle发行的jdk进行安装，过程略。
安装CDH相关组件
主节点执行
yum install -y cloudera-manager-server
所有节点执行
yum install -y cloudera-manager-agent
主节点执行初始化数据库
cd /opt/cloudera/cm/schema/
./scm_prepare_database.sh -h cdh01 -P 3306 mysql scm root password
将parcel包放入主节点/opt/cloudera/parcel-repo目录
cd /opt/cloudera/parcel-repo
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.1425774-bionic.parcel
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.sha
wget https://archive.cloudera.com/cdh6/6.2.1/parcels/CDH-6.2.1-1.cdh6.2.1.p0.4951328-el7.parcel.torrent
chown -R cloudera-scm.cloudera-scm *
启动主节点
systemctl start cloudera-scm-server
修改其余节点配置
sed -i 's/server_host=localhost/server_host=cdh01/g' /etc/cloudera-scm-agent/config.ini
启动其余节点
systemctl start cloudera-scm-agent
通过网页打开http://10.1.1.1:7180开始配置
