在前期准备工作完成的基础上,安装cdh的步骤:
1. 解压cloudera manager安装包, 一定要解压到 /opt 目录下
2. 将mysql的驱动复制到lib目录下,初始化cdh的元数据库
/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
3. 修改agent配置, 使得 serverhost 指向主节点
vi /opt/cm-5.16.1/etc/cloudera-scm-agent/config.ini
serverhost = node01
4. 使用 scp 命令将cloudera manager软件分发到各个节点上
scp -r /opt/* root@node02:/opt/
5. 在所有节点创建cloudera-scm用户
useradd --system --home=/opt/cm-5.16.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
6. 将Parcel安装包复制到主节点的/opt/cloudera/parcel-repo/
一定要修改CDH-5.3.6-1.cdh5.3.6.p0.11-el6.parcel.sha1的后缀名,将 sha1 改为 sha
7. 启动脚本
仅仅server节点启动命令:
/opt/cm-5.16.1/etc/init.d/cloudera-scm-server start
所有agent节点启动命令:
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent start
8. 查看启动状态
netstat -anp | grep 7180
重新安装cdh的必备准备步骤
1. 停止所有cloudera-scm-agent服务 和cloudera-scm-server服务
/opt/cm-5.16.1/etc/init.d/cloudera-scm-server stop
/opt/cm-5.16.1/etc/init.d/cloudera-scm-agent stop
2. 删除cdh的元数据 cm 数据库
3. 删除cdh中的数据：
rm -rf /opt/cm-5.16.1/lib/cloudera-scm-agent/*
4. 删除大数据组件中的数据, 比如删除 hdfs, yarn 的数据
rm -rf /yarn/
rm -rf /dfs/
5. 开始重新安装
关于mysql的注意点
注意点:
1. 关闭mysql的密码检测机制
2. mysql开启远程连接
具体操作细节在另外一篇博客中:
https://www.jianshu.com/writer#/notebooks/23954014/notes/37925823
#创建hive,monitor,hue,oozie表
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
#保证mysql的驱动复制到 /opt/cm-5.16.1/share/cmf/lib 后, 初始化cdh的元数据库
/opt/cm-5.16.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -proot --scm-host localhost scm scm scm
一些bug
bug1 =>
cdh安装hdfs时报错
Failed to deploy client configuration to the cluster.
原因：
依赖包perl未安装
解决:
yum install -y perl
bug2 =>
初始化cdh的元数据库的时候总是失败
原因:
由于mysql的密码过于简单
解决:
修改mysql的配置:
1. 关闭mysql的密码检测机制,否则简单密码会导致初始化mysql元数据库失败;
2. 开启mysql的远程登陆机制;
