hadoop集群的安装

1、CDH软件版本重新进行编译
1、编译hadoop的原因，需要对hadoop安装包中添加以下C程序库
2、编译环境的准备
2.1：准备Linux环境
准备一台linux环境，内存4G或以上，硬盘40G或以上，我这里使用的是Centos6.9 64位的操作系统

2.2：虚拟机联网，关闭防火墙，关闭selinux
关闭防火墙命令：
server iptables stop
chkconfig iptables off
关闭selinux
vim /etc/selinux/config

2.3：安装jdk1.7
hadoop2.6.0-cdh5.14.2这个版本的编译只能使用jdk1.7，
上传jdk安装包到/kkb/soft目录
解压jdk压缩包
mkdir -p /kkb/soft
mkdir -p /kkb/install
cd /kkb/soft
tar -zvxf jdk-7u71-linux-x64.tar.gz -C ../servers/
配置环境变量
vim /etc/profile
export JAVA_HOME=/kkb/install/jdk1.7.0_71
export PATH=: $JAVA_HOME/bin:$ PATH
让修改立即生效
source /etc/profile

2.4：安装maven
这里使用maven3.x以上的版本，这里使用3.0.5
maven上传到/kkb/soft
解压maven的安装包/kkb/instll
cd /kkb/soft/
tart -zvxf apache-maven-3.0.5-bin.tar.gz -C ../install/
配置mavne的环境变量
vim /etc/profile
export MAVEN_HOME=/kkb/install/apache-maven-3.0.5
export MAVEN_OPTS="-Xms4096m -Xmx4096m"
export PATH=: $MAVEN_HOME/bin:$ PATH
让修改立即生效
source /etc/profile

2.5：安装findbugs
下载findbugs
cd /kkb/soft
wget --no-check-certificate https://sourceforge.net/projects/findbugs/files/findbugs/1.3.9/findbugs-1.3.9.tar.gz/download -0 findbugs-1.3.9.tar.gz
解压findbugs
tar -zxvf findbugs-1.3.9.tar.gz -C ../install/
配置findbugs的环境变量
vim /etc/progile
export JAVA_HOME=/kkb/install/jdk1.7.0_75
export PATH=: $JAVA_HOME/bin:$ PATH

export MAVEN_HOME=/kkb/install/apache-maven-3.0.5
export PATH=: $MAVEN_HOME/bin:$ PATH
export FINDBUGS_HOME=/kkb/install/findbugs-1.3.9
export PATH= $DINDBUGS_HOME/bin:$ PATH
让修改立即生效
source /etc/profile

2.6：在线安装一下依赖包
yum install autoconf automake libtool cmake
yum install ncurses-devel
yum install openssl-devel
yum install openssl-devel
yum install lzo-devel zlib-devel gcc gcc-++
yum install -y bzip2-devel

2.7安装protobuf
cd /kkb/soft
tar -zvxf protobuf-2.5.0.tar.gz -C ../servers/
cd /kkb/install/protobuf-2.5.0
./configure
make && make install

2.8、安装snappy
snappy下载地址
http://code.google.com/p/snappy/
cd /kkb/soft/
tar -zxf snappy-1.1.1.tar.gz -C ../servers/
cd ../servers/snappy-1.1.1/
./configure
make && make install

2.9：下载cdh源码准备编译
源码下载地址：
http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2-src.tar.gz
下载源码进行编译
cd /kkb/soft
wget http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.14.2-src.tar.gz
tar -zxvf hadoop2.6.0-cdh5.14.2-src.tar.gz -C ../servers/
cd /kkb/install/hadoop-2.6.0-cdh5.14.2
编译不支持snappy压缩
mvnpackage -Pdis,native -DskipTests - Dtar
编译至此snappy压缩：
mvn package -DskipTests -Pdist,native -Dtar -Drequire.snappy -e -X
编译完成后压缩包就在这个路径下

2.10：场景编译错误
如果编译之后出现这个错误
An Ant BuildException has occured:exec returned:2
这里因为tomcat的压缩包没有下载完成，需要自己下载一个对应版本的apache-tomcat-6.0.53.tar.gz的压缩包放到指定路径下面去即可
这两个路径下面需要放上这个tomcat的压缩包
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoop-hdfs-project/hadoop-hdfs-httpfs/downloads
/kkb/install/hadoop-2.6.0-cdh5.14.2/hadoop-common-project/hadoop-kms/downloads

2、hadoop集群的安装
安装服务不熟规划
服务器IP 192.168.52.100 192.168.52.110 192.168.52.120
HDFS NameNode
HDFS SecondaryNameNode
HDFS DataNode DataNode DataNode
YARN ResourceManager
YARN NodeManager NodeManager NodeManager
历史日志服务器 JobHistoryServer

第一步：上传压缩包并解压
将我们重新编译之后支持snappy压缩的hadoop包上传到第一台服务器并解压第一台机器执行以下命令
cd /kkb/soft/
tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz -C ../servers/
第二步：查看hadoop支持的压缩方式以及本地库

第一台机器执行以下命令
cd /kkb/install/hadoop2.6.0-cdh5.14.2
bin/hadoop checknative
如果出现openssl为false，那么所有机器在线安装openssl即可，执行以下命令，虚拟机联网之后就可以在线进行安装了
sudo yum -y install openssl-devel
第三步：修改配置文件
修改core-sit.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim core-site.xml

<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://node01:8082</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/kkb/install/hadoop2.6.0-cdh5.14.2/hadoopDatas/tempDatas</value>
</property>

<property>
<name>io.file.buffer.size</name>
<value>4096</value>
</property>

<property>
<name>fs.trash.interval</name>
<value>10080</value>
</property>
</configuration>

修改hdfs-site.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim hdfs-site.xml

<configuration>
<property>
<name>dfs.namenode.secondary.http-address</name
<value>node01:50090</value>
</property>
<property>
<name>dfs.namenode.http-adress</name>
<value>node01:50070</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas</value>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:///kkb/instll/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas</value>
</property>
<property>
<name>dfs.namenode.edits.dir</name>
<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits</value>
</property>
<property>
<name>dfs.namenode.chekpoint.dir</name>
<value>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name</value>
</property>
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<vale>file:///kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits</value>
</property>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
<property>
<name>dfs.blocksize</name>
<value>134217728</value>
</property>
</configuration>

修改hadoop-env.sh
第一台机器执行以下命令
cd /kkb/install/hadoop2.6.0-cdh5.14.2/etc/hadoop
vim hadoop-env.sh
export JAVA_HOME=/kkb/install/jdk1.8.0_141

修改mapred-site.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim mapred-site.xml

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.job.ubertask.enable</name>
<value>true</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>node01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>node01:19888</value>
</property>
</configuration>

修改yarn-site.xml
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim yarn-site.xml

<configuration>
<property>
<name>yarn.resourcmanager.hostname</name>
<value>node01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

修改slaves文件
第一台机器执行以下命令
cd /kkb/install/hadoop-2.6.0-cdh5.14.2/etc/hadoop
vim slaves
node01
node02
node03

第四步：创建文件存放目录
第一台机器执行以下命令
node01 机器上面创建以下目录
mkdir -p /kkb/install/haoop-2.6.0-cdh5.14.2/hadoopDatas/tempDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/namenodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/datanodeDatas
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/edits
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/snn/name
mkdir -p /kkb/install/hadoop-2.6.0-cdh5.14.2/hadoopDatas/dfs/nn/snn/edits

第五步：安装包的分发scp与rsync

第六步：配置hadoop的环境变量
三台机器都要进行配置hadoop的环境变量
三台机器执行以下命令
sudo vim /etc/profile
export HADOOP_HOME=/kkb/install/hadoop-2.6.0-cdh5.14.2
export PATH=: $HADOOP_HOME/bin:$ HADOOP_HOME/sbin:$PATH
配置完成之后生效
source /etc/profile

第七部：集群启动
格式化集群
第一次启动集群要格式化
bin/hdfs namenode -format 或者bin/hadoop namenode -format

单个节点逐一启动
在主节点使用以上命令启动HDFS NameNode:
hadoop-daemon.sh start namenode
在每个从节点使用以上命令启动HDFS DataNode:
hadoop-daemon.sh start datanode
在主节点上使用以上命令启动YARN ResourceManager:
yarn-daemon.sh start resourcemanager
在每个从节点使用以下命令启动YARn nodemanager:
yarn-daemon.sh start nodemanager

停止脚本start换成stop

脚本一键启动，要ssh免密登录

cd /kkb/install/hadoop-2.6.0-cdh5.14.2/
sbin/start-dfs.sh
sbin/start-yarn.sh
停止集群
sbin/stop-dfs.sh
sbin/stop-yarn.sh

第八步浏览器查看启动页面
hdfs集群访问地址

http://192.168.52.100:50070/dfshealth.html#tab-overview

yarn集群访问地址

http://192.168.52.100:8088/cluster

jobhistory访问地址：

http://192.168.52.100:19888/jobhistory

我们也可以通过jps在每台机器上面查看进程名称，为了方便我们以后查看进程，我们可以通过脚本一键查看所有机器的进程

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,686评论 6赞 492
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,668评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 158,160评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,736评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,847评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 50,043评论 1赞 291
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,129评论 3赞 410
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,872评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,318评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,645评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,777评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,470评论 4赞 333
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 40,126评论 3赞 317
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,861评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,095评论 1赞 267
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,589评论 2赞 362
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,687评论 2赞 351

hadoop集群的安装

推荐阅读更多精彩内容