14.1 实验环境
- 内容概述
- 创建Gateway节点主机模板
- Gateway节点的前置准备
- 增加Gateway节点到集群并应用主机模板
- GateWay节点命令测试
- 测试环境
- CDH5.11.2
- 采用具有sudu权限的root用户操作
- CentOS6.5
- 前置条件
- CDH5.11.2集群运行正常
- Gateway节点已准备，并准备好前置
14.2 创建Gateway节点的主机模板
-
从Cloudera Manager进入“主机模板”页面
-
给模板命名，点击各个服务勾选相应的GateWay角色
- 确认创建成功
14.3 Gateway节点前置准备
- 确保OS的yum源可以正常使用，通过yum repolist命令可以查看到匹配的OS的所有包
- 确保Cloudera Manager的yum源运行正常
- hosts文件配置，需要将Gateway节点的IP和hostname加入到CDH集群节点的hosts文件中，并同步到所有机器包括Gateway节点
- 禁用SELinux
- 关闭防火墙
- 设置swap为10
- 关闭透明大页面
- 配置时钟同步
14.4 安装Kerberos客户端
- 由于集群启用了Kerberos服务，所以需要在Gateway节点安装Kerberos客户端。
- 在Gateway节点上执行如下命令
[ec2-user@ip-172-31-31-212opt]$ sudo yum -y install krb5-libskrb5-workstation
- 安装成功后查看安装的RPM包
[ec2-user@ip-172-31-31-212opt]$ rpm -qa |grep krb
krb5-workstation-1.15.1-8.el7.x86_64
krb5-libs-1.15.1-8.el7.x86_64
krb5-devel-1.15.1-8.el7.x86_64
[ec2-user@ip-172-31-31-212 opt]$
- 将CM集群中的krb5.conf文件拷贝至该Gateway节点
[ec2-user@ip-172-31-22-86 ~]$ scp -i fayson.pem.txt /etc/krb5.conf ip-172-31-31-212:/hom
- 在Gateway节点将krb5.conf文件拷贝至/etc目录下
[ec2-user@ip-172-31-31-212 ~]$ sudo cp krb5.conf /etc/
[ec2-user@ip-172-31-31-212 ~]$ sudo chown root. /etc/krb5.conf
[ec2-user@ip-172-31-31-212 ~]$ ll /etc/krb5.conf
-rw-r--r-- 1 root root 837 Dec 9 00:28 /etc/krb5.conf
[ec2-user@ip-172-31-31-212 ~]$
- 在GateWay节点测试Kerberos客户端是否部署成功
[ec2-user@ip-172-31-31-212 ~]$ kinit -kt fayson.keytab fayson
[ec2-user@ip-172-31-31-212 ~]$ klist
Ticket cache: FILE:/tmp/krb5cc_1000
Default principal: fayson@CLOUDERA.COM
Valid starting Expires Service principal
12/09/2017 00:31:53 12/10/2017 00:31:53 krbtgt/CLOUDERA.COM@CLOUDERA.COM
renew until 12/16/2017 00:31:53
[ec2-user@ip-172-31-31-212 ~]$
14.5 增加Gateway节点集群并应用主机模板
-
从Cloudera Manager进入“主机模板”页面
- 点击“向群集添加主机”
- 选择“经典向导”后，点击继续
- 输入Gateway节点的IP或者hostname后，点击搜索
- 选择“自定义存储库”，并输入Cloudera Manager的yum源http地址，点击“继续”
- 勾选Java的两个选项，点击“继续”
- 输入Gateway节点的ec2-user密码，并点击“继续”
- 等待cloudera-scm-agent在Gateway节点上安装，安装完成点击“继续”
- 等待分发Parcel包并激活，完成后，点击“继续”
-
主机检查，点击“继续”，选择主机模板
-
点击“继续”向集群中添加新主机，等待执行成功
-
点击“继续”，部署客户端配置
-
点击完成，查看主机列表GateWay节点的角色信息
- 至此，给Kerberos环境下CDH集群增加新的Gateway节点完成。
14.6 Gateway节点测试
- HDFS命令测试
[ec2-user@ip-172-31-31-212 ~]$ hadoop fs -ls /
- HBase命令测试
[ec2-user@ip-172-31-31-212 ~]$ hbase shell
- Hive命令测试
[ec2-user@ip-172-31-31-212 ~]$ hive
- Hadoop命令向集群提交作业
[ec2-user@ip-172-31-31-212 ~]$ hadoop jar /opt/cloudera/parcels/CDH/lib/hadoop-mapredu
大数据视频推荐：
腾讯课堂
CSDN
大数据语音推荐：
企业级大数据技术应用
大数据机器学习案例之推荐系统
自然语言处理
大数据基础
人工智能：深度学习入门到精通
