Cloudera大数据平台环境搭建

1、Hadoop简绍

1）Hadoop 是一个由Apache基金会所开发的分布式系统基础架构。

2）主要解决，海量数据的存储和海量数据的分析计算问题。

3）Hadoop通常是指一个更广泛的概念，Hadoop生态圈。

1.2 CDH简绍

目前Hadoop比较流行的主要有2个版本，Apache和Cloudera版本。

Apache Hadoop：维护人员比较多，更新频率比较快，但是稳定性比较差。

ClouderaHadoop（CDH）：CDH：Cloudera公司的发行版本，基于ApacheHadoop的二次开发，优化了组件兼容和交互接口、简化安装配置、增加Cloudera兼容特性。

简单来说：CDH 是一个拥有集群自动化安装、中心化管理、集群监控、报警功能的一个工具（软件），使得集群的安装可以从几天的时间缩短为几个小时，运维人数也会从数十人降低到几个人，极大的提高了集群管理的效率。

CDH安装完成后，系统主界面，了解大数据，就从搭建大数据平台开始吧，让技术不再难而却步，大数据底层组件不再陌生，亲手搭建，成功就在眼前。

2.Cloudera大数据平台环境搭建

大数据平台的搭建，需要了解linux命令、基本的Hadoop组件知识，同时需要掌握一套清晰的搭建系统的流程，而这些知识的综合，把大多数人就挡在门槛之外，为了学习和了解大数据底层知识的人员，我们特提供一套详细搭建过程，便于跨过这个门槛。

平台搭建步骤图：

2.1系统准备

通过win10远程登录到虚拟机环境操作相应业务流程，需在win10环境安装相应的工具。

1）本机环境为win10环境，通过搭建虚拟机-linux系统来搭建大数据环境，

安装WinScp文件传输工具，传输相应的安装文件到linux系统。 WinSCP是一个Windows环境下使用SSH的开源图形化SFTP客户端。它的主要功能就是在本地与远程计算机间安全的复制文件。链接linux系统等。

2）安装Xshell远程工具，通过远程命令行的方式操作linux系统，不用频繁切换linux系统。

Xshell 是一个强大的安全终端模拟软件，支撑Microsoft Windows 平台的TELNET 协议。通过互联网到远程主机的安全连接以及它创新性的设计和特色帮助用户在复杂的网络环境中进行工作。

3）虚拟机VMware 15，安装centos7系统构建大数据环境，3台虚拟机以上，VM12以上版本支持linux图形界面。

2.2平台规划

平台规划：本次规划为3台服务器组建集群环境；

其中一台主机，另外2台代理，主机作为主控服务器，相应内存大点，另外2台主做存储和计算。

内存大小分配会影响后续CDH图表页面的显示。

2.3系统环境

2.3.2 修改机器名称

2.3.3防火墙设置中

2.3.4免密登录设置

设置免密钥登录：不录入密码条件下，可由主机自动登录到其它agent机器，便于后续主机进行文件分发。具体参考：https://www.jb51.net/article/107955.htm

1、所有机器：vi /etc/ssh/sshd_config

RSAAuthentication yes

PubkeyAuthentication yes

PermitRootLogin yes

2、所有机器都执行命令：ssh-keygen -t rsa，生成 key，一律不输入密码，直接回车，/root 就会生成

.ssh 文件夹。

3、主服务器

cd /root/.ssh

catid_rsa.pub>>authorized_keys

sshroot@192.168.137.102 cat ~/.ssh/id_rsa.pub>> authorized_keys

sshroot@192.168.137.103 cat ~/.ssh/id_rsa.pub>> authorized_keys

scpauthorized_keys root@192.168.137.102:/root/.ssh/

scpauthorized_keys root@192.168.137.103:/root/.ssh/

scpknown_hostsroot@192.168.137.102:/root/.ssh/

scpknown_hostsroot@192.168.137.103:/root/.ssh/

4、在主服务登录：ssh

root@192.168.137.102

2.3.5selinux关闭：

所有服务器都要设置。

2.3.6 安装配置ntpd服务

安装配置ntpd服务：

所有服务器都要设置，由于本人采用简单方式，没有按照网上查询文档进行安装设置

查询相关文档https://www.bbsmax.com/A/A7zgmwB154/

2.3.7 系统参数

已启用透明大页面压缩，可能会导致重大性能问题。请运行：

echo 10 > /proc/sys/vm/swappiness

echo 'vm.swappiness=10'>> /etc/sysctl.conf

echo 'echo

never > /sys/kernel/mm/transparent_hugepage/defrag' >> /etc/rc.local

echo 'echo

never > /sys/kernel/mm/transparent_hugepage/enabled' >> /etc/rc.local

2.4数据库环境

本节主要统一介绍与数据库相关组件的安装，便于统一规划，因为这些组件在安装、应用过程中都有关联，这节配置基本与后续的数据库配置页面相关，随后再提，现在有个准备，保留。

2.4.1JDK

2.4.2 ，mysql安装

在命令行下执行，创建相应数据库：

create database hive DEFAULT CHARACTER

SET utf8;

createdatabaserman DEFAULT CHARACTER SET utf8;

createdatabaseamon DEFAULT CHARACTER SET utf8;

createdatabaseoozie DEFAULT CHARACTER SET utf8;

createdatabase hue DEFAULT CHARACTER SET utf8;

createdatabase monitor DEFAULT CHARACTER SET utf8;

createdatabase reports DEFAULT CHARACTER SET utf8;

createdatabasenavigatoraudit DEFAULT CHARACTER SET utf8;

createdatabasenavigatormetadata DEFAULT CHARACTER SET utf8;

flushprivileges;

exit;

2.5CM安装

Cloudera Manager(简称CM)是Cloudera公司开发的一款大数据集群安装部署利器，这款利器具有集群自动化安装、中心化管理、集群监控、报警等功能，使得安装集群从几天的时间缩短在几小时以内，运维人员从数十人降低到几人以内，极大的提高集群管理的效率。

2.5.1安装包下载

安装包下载：

wget http://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz

wget http://archive.cloudera.com/cdh5/parcels/5.13.1/manifest.json

wget http://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel

wge thttp://archive.cloudera.com/cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1

统一下载到：cd /root/Downloads/

建立文件夹

mkdir /opt/

1）在主服务器，根目录，

mkdir -p

/opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm/opt/cloudera/parcel-repo

2）在所有的节点上创建parcels目录，操作如下：

mkdir -p

/opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

2.5.2创建用户

所有服务器

useradd --system

--home=/opt/cm-5.13.1/run/cloudera-scm-server/ --shell=/bin/false --comment "Cloudera SCM

User" cloudera-scm

2.5.3制作本地yum源

1）制造本地YUN源，配置主节点仓库目录

cd /root/Downloads/

cp CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1 manifest.json /opt/cloudera/parcel-repo/

cd /opt/cloudera/parcel-repo

mv CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1

CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha

2）安装CM

cd /root/Downloads/

tar -zxvf

cloudera-manager-centos7-cm5.13.1_x86_64.tar -C /opt/

3）分发包

将cm-5.13.1

打包，并复制到其他服务器

cd /opt

tar czfcm-5.13.1.tar.gz cm-5.13.1/

//复制到其他节点

scp cm-5.13.1.tar.gz root@CM5-02:/opt/

scp cm-5.13.1.tar.gz root@CM5-03:/opt/

其它节点，//将cm-5.13.1

包解压

cd /opt

tar -xzvf cm-5.13.1.tar.gz

2.5.4 启动CM服务

启动主节点

/opt/cm-5.13.1/etc/init.d/cloudera-scm-server

start /opt/cm-5.13.1/etc/init.d/cloudera-scm-server

restart /opt/cm-5.13.1/etc/init.d/cloudera-scm-server

stop 在所有节点上启动agent:

/opt/cm-5.13.1/etc/init.d/cloudera-scm-agent

start /opt/cm-5.13.1/etc/init.d/cloudera-scm-agent

restart /opt/cm-5.13.1/etc/init.d/cloudera-scm-agent

stop

查询启动日志

tail -f /opt/cm-5.13.1/log/cloudera-scm-server/cloudera-scm-server.log

curl -i 192.168.137.100:7180/cmf/login

登录网址http://192.168.137.101:7180/

Cloudera大数据平台环境搭建