CDH大数据集群搭建

目录
一.安装虚拟机
二.配置CentOS6.7环境
三.环境准备：
    3.1私有网络软件仓库
    3.2挂载网络镜像
    3.3创建CM和CDH网络镜像
    3.4安装时钟服务器
    3.5安装mysql
四.CM安装
    4.1配置CM的yum源
    4.2安装CM
    4.3修改CM源数据库
五.CDH集群安装
    5.1
    5.2 CDH和CM的具体网络位置的选择

一.安装虚拟机(见另一篇文章)：

二.配置CentOS6.7环境：

1.关闭防火墙(三台虚拟机)：

service iptables stop 

service iptables status

2.关闭防火墙自动运行(三台虚拟机)：

chkconfig iptables off

验证：

chkconfig --list | grep iptables

3.修改主机名(三台虚拟机)：

vi /etc/sysconfig/network

修改内容：

NETWORKING=yes
hostname=cdh1

4.将IP与主机名绑定，修改hosts(三台虚拟机)

vi /etc/hosts

修改内容：

192.168.0.131 cdh1
192.168.0.132 cdh2
192.168.0.133 cdh3

5.增加开机自启项(三台虚拟机)

vi /etc/rc.local

添加：

echo 0 >  /proc/sys/vm/swappiness
echo never > /sys/kernel/mm/redhat_transparent_hugepage/enabled
echo never > /sys/kernel/mm/redhat_transparent_hugepage/defrag
swapoff -a

6.关闭seliunx模块(三台虚拟机)：

vi /etc/selinux/config

修改内容：

SELINUX=disabled

7.设置ssh免密登陆(三台虚拟机)：

ssh-keygen -t rsa         //三次回车

三次回车：

ssh-copy-id -i ~/.ssh/id_rsa.pub  root@cdh1

ssh-copy-id -i ~/.ssh/id_rsa.pub  root@cdh2

ssh-copy-id -i ~/.ssh/id_rsa.pub  root@cdh3

三.环境准备：

3.1私有网络软件仓库(cdh1一台虚拟机)：

1.上传CentOS镜像到cdh1虚拟机下的/disk目录下

cd /

mkdir disk             //将镜像上传到此目录下

2.挂载镜像：

(1)首先创建文件夹

mkdir -p /media/CentOS

(2)挂载镜像：

mount -o loop /disk/CentOS-6.7-x86_64-bin-DVD1.iso /media/CentOS/

(3)进入目录/etc/yum.repos.d/

cd /etc/yum.repos.d/

(4)修改CentOS-Base.repo的名称：

mv CentOS-Base.repo CentOS-Base.repo.bak

(5)修改CentOS-Media.repo

vi CentOS-Media.repo

修改内容：

enabled=1

(6)清除yum的缓存

yum clean metadata

yum clean dbcache

(7)查看是否挂载成功：

yum list | wc -l

3.安装http

(1)安装

yum -y install httpd

(2)检查是否安装成功

service httpd status

(3)启动http服务，并让http开机自启

service httpd start

chkconfig httpd on

(4)验证:浏览器输入：

192.168.0.131:80

4.安装createrepo

yum -y install createrepo

3.2挂载网络镜像

1.创建网络系统镜像：

(1)将从镜像中挂载的文件拷贝到软件仓库的目录中

scp -r /media/CentOS /var/www/html/

(2)删除目录repodata

cd /var/www/html/CentOS

rm -rf ./repodata

(3)生成新的软件路径目录repodata

createrepo .

(4)通过网络查看：

192.168.0.131/CentOS

(5)创建网络镜像成功

2.使用网络镜像

(1)接触对镜像文件的挂载：

umount /media/CentOS

验证

ll /media/CentOS/

(2)修改文件CentOS-Media.repo让其指向刚才创建的网络镜像

vi /etc/yum.repos.d/CentOS-Media.repo

修改内容

baseurl=http://192.168.0.131/CentOS/

(3)清除yum缓存：

yum clean metadata

yum clean dbcache

(4)查看是否挂载成功：

yum list | wc -l

超过3000个及挂载成功

3.3创建CM和CDH网络镜像

1.将下载好的cdh和cm安装包上传到/var/www/html/目录下：

验证：通过浏览器访问

2.子节点挂载网络镜像：

(1)将修改好的repo分发到其他两台子节点虚拟机：

scp -r /etc/yum.repos.d/CentOS-Media.repo root@cdh2:/etc/yum.repos.d/ 

scp -r /etc/yum.repos.d/CentOS-Media.repo root@cdh3:/etc/yum.repos.d/

(2)两台子节点修改文件：

mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak

(3)两台子节点清除缓存：

yum clean metadata

yum clean dbcache

(4)两台子节点查看是否挂载成功：

yum list | wc -l

3.4 安装时钟服务器

所有节点都得安装时钟服务。
时钟服务器安装在主节点上，子节点的时钟服服务全部同步到主节点的时钟服务器上。

1.主节点(cdh1)安装时钟服务器

(1)安装时钟服务ntp

yum -y install ntp

(2)启动，并注册到开机自启

service ntpd start

chkconfig ntpd on

(3)配置时钟服务器，编辑/etc/ntp.conf

vi /etc/ntp.conf

修改内容：

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap

server 127.127.1.0
fudge 127.127.1.0 statum 10

(4)重启ntp服务

service ntpd restart

2.子节点安装ntp时钟服务器并同步到主节点

(1)和上面一样，处了修改ntp.conf文件不同：

(2)修改ntp.conf

vi /etc/ntp.conf

修改内容：

restrict 192.168.0.0 mask 255.255.255.0 nomodify notrap

server cdh1

修改后

(3)重启ntp服务

service ntpd restart

(4)验证是否同步：

ntpstat

3.5安装mysql(主节点cdh1)

1.安装

(1)安装

yum -y install mysql-server

(2).启动并设置开机启动：

service mysqld start

chkconfig mysqld on

2.修改root密码：

(1)修改root密码

mysqladmin -u root password "root"

(2)登陆mysql

mysql -uroot -proot

3.创建相关数据库

(1)CM元数据库：

create database scm DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(2)Hive元数据库：

create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(3)Cloudera的元数据库：

create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(4)oozie的元数据库

create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

(5)开启远程访问
选择mysql数据库

use mysql;

修改访问权限表：

grant all privileges on *.* to "root"@"%" identified by "root" with grant option;

grant all on scm.* TO "root"@"cdh1" identified by "root";

grant all on scm.* TO "root"@"cdh2" identified by "root";

grant all on scm.* TO "root"@"cdh3" identified by "root";

grant all on hive.* TO "root"@"cdh1" identified by "root";

grant all on hive.* TO "root"@"cdh2" identified by "root";

grant all on hive.* TO "root"@"cdh3" identified by "root";

grant all on amon.* TO "root"@"cdh1" identified by "root";

grant all on amon.* TO "root"@"cdh2" identified by "root";

grant all on amon.* TO "root"@"cdh3" identified by "root";

grant all on oozie.* TO "root"@"cdh1" identified by "root";

grant all on oozie.* TO "root"@"cdh2" identified by "root";

grant all on oozie.* TO "root"@"cdh3" identified by "root";

flush privileges;

查看是否开启远程访问：

select user,password,host from user;

四.CM安装(cdh1一个虚拟机)

4.1配置CM的yum源：

1.拷贝cloudera-cm.repo到/etc/yum.repos.d/目录下：

cd /var/www/html/cm5.14/

cp cloudera-manager.repo /etc/yum.repos.d/

2.进入目录/etc/yum.repos.d/ ,修改cloudera-manager.repo

cd /etc/yum.repos.d/

vi cloudera-manager.repo

修改前

修改内容：

baseurl=http://192.168.0.131/cm5.14/
gpgkey =http://192.168.0.131/cm5.14/RPM-GPG-KEY-cloudera

修改后：

修改后

3.制作一个备份：

cp cloudera-manager.repo cloudera-manager111.repo

4.测试：

yum repolist

4.2安装CM

1.找到CM安装的引导文件：cloudera-manager-installer.bin，上传到/opt目录下

2.赋予权限：

chmod 755 cloudera-manager-installer.bin

3.执行

/opt/cloudera-manager-installer.bin

4.查看是否启动：

service cloudera-scm-server status

5.通过浏览器访问cm的页面控制台：

http://192.168.0.131:7180

用户名和密码都是admin，进入cdh集群安装页面，至此cm安装成功

4.3修改CM源数据库：

1.将mysql驱动放入/usr/share/cmf/lib/目录下

2.修改数据库：

/usr/share/cmf/schema/scm_prepare_database.sh mysql scm root root

修改数据库

五.CDH集群安装

5.1

1.在登录了后，进入的第一个界面是cloudera的最终用户许可条款和条件:

钩上是的，点击继续

勾选是的，再点继续，进入CDH版本选择界面，
2.这里选择免费版，再点击继续，进入感谢界面：

选择免费，点击继续

3.点击继续，进入节点选择界面

点击继续

输入节点主机名：cdh1,cdh2,cdh3点击搜索

选中节点，点击继续

5.2 CDH和CM的具体网络位置的选择

1.选中CDH的位置

先点击更多选项，进入CDH网络位置选择界面

修改成自己的CDH网络软件镜像的地址，而自己的CDH的地址为

因此修改如下，多余的删掉：

点击保存更改，这时CDH和CM的网络位置选择界面变为

选择自己设置的CDH版本就完成了，对CDH的选择。接下来选择CM。

2.选择CM的位置

其实呢，就是把配置cloudera-cm.repo的配置拿出来，在界面上填一遍，我们的填写如下：

填写完成后，就会进入给每个节点安装cloudera-scm-agent的界面，再点击继续前，我们需要将hadoop-cm中安装CM时安装的JDK文件分发到每个子节点，不然子节点在安装cloudera-scm-agent会包错。

3.分发jdk：

在cdh1安装CM时，CM会将JDK安装到/usr/java/目录下：
因此我们把cdh1整个java目录分发给所有的子节点就好了，在hadoop-4下执行：

scp -r /usr/java root@cdh2:/usr/

scp -r /usr/java root@cdh3:/usr/

4.Agent的安装和配置：

Jdk分发完成后，点击继续，进入jdk安装选项：
由于我们已经分发，这个就不需要勾选，直接点击继续，进入选择是否启动单用户模式

点击继续,jdk之前装过了

点击继续，不选择单用户

填写root用户的密码，点击继续

点击继续

全绿则选择继续

选择自定义服务，因为虚拟机资源不够，最好一个一个安装

选择后继续

填写正确数据库主机名，数据库名称，用户名密码，测试连接成功后点击继续

点击继续

点击完成

5.搭建成功：

成功