hadoop+hbase+zookeeper安装指南

hadoop、hbase、zookeeper是大数据里面三个重要的产品，关于这三个产品的介绍，各种书籍和网站介绍得很多，在这里不再赘述，仅介绍在ubunt下如何安装和配置这三种产品。

第一步：配置虚拟机为桥接模式

第二步：安装openssh-server，并且登录不需要

/home/jerry/>apt-get install openssh-server #安装openssh-server

/home/jerry/>ssh localhost #登录本机，需要密码

/home/jerry/>exit# 退出刚才的 ssh localhost

/home/jerry/>cd ~/.ssh/# 若没有该目录，请先执行一次ssh localhost

/home/jerry/>ssh-keygen -t rsa# 会有提示，都按回车就可以

/home/jerry/>cat ./id_rsa.pub >> ./authorized_keys # 加入授权

/home/jerry/>ssh localhost#不需要密码

第三步：安装JDK 1.7以上

/home/jerry/>tar -xzf jdk-8u161-linux-x64.tar.gz -C /usr/local

/home/jerry/>cd /usr/local

/usr/local/>mv jdk1.8.0_161/ java

/usr/local/>gedit ~/.bashrc

export JAVA_HOME=/usr/local/java

export JRE_HOME=$JAVA_HOME/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin

/usr/local/>source ~/.bashrc

/usr/local/>java -version

出现版本信息，说明配置正确。

第四步：安装hadoop

/home/jerry/>tar -xzf hadoop-2.6.4.tar.gz -C /usr/local

/home/jerry/>cd /usr/local

/usr/local/>mv hadoop-2.6.4/ hadoop

/usr/local/>chown -R root ./hadoop

/usr/local/>gedit ~/.bashrc

export HADOOP_HOME=/usr/local/hadoop

export PATH=$PATH:$HADOOP_HOME/bin

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

export JAVA_LIBRAY_PATH=$HADOOP_HOME/lib/native

export LD_LIBRARY_PATH=$JAVA_LIBRARY_PATH

/usr/local/>source ~/.bashrc

/usr/local/>hadoop version

#查看hsddop版本有内容，说明配置正确

/usr/local/>gedit /usr/local/hadoop/etc/hadoop/core-site.xml

　　　　<name>fs.defualtFS</name>

　　　　<value>hdfs://localhost:9000</value>

　　</property>

<name>hadoop.tmp.dir</name>

<value>file:/usr/local/hadoop/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

</configuration>

/usr/local/>gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml

<name>dfs.replication</name>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/usr/local/hadoop/tmp/dfs/data</value>

</property>

　　　　<name>dfs.namenode.http-address</name>

　　</property>

</configuration>

dfs.namenode.name.dir：namenode位置

dfs.namenode.data.dir：datanode位置

dfs.namenode.http-address：hadoop WEB端口

gedit /usr/local/hadoop/etc/hadoop/hdoop-env.sh

将语句

export JAVA_HOME=$JAVA_HOME

修改为

export JAVA_HOME=/usr/java/jdk1.8.0_101

hadoop WEB 页面：http://localhost:50070

hadoop+hbase+zookeeper安装指南

/usr/local/>cd hadoop

/usr/local/hadoop/>hdfs namenode -format

/usr/local/hadoop/>sbin/start-dfs.sh

/usr/local/hadoop/>cp etc/hadoop/mapred-site.xml.template etc/hadoop/mapred-site.xml

/usr/local/hadoop/>gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml

　　　　<name>yarn.nodemanager.aux-server</name>

　　　　<value>mapreduce_shuffle</value>

　　</property>

</configuration>

/usr/local/hadoop/>sbin/start-dfs.sh(./sbin/stop-dfs.sh)

/usr/local/hadoop/>sbin/start-yarn.sh(./sbin/stop-yarn.sh)

/usr/local/hadoop/>

sbin/mr-jobhistory-daemon.sh start historyserver #查看历史任务( ./sbin/mr-jobhistory-daemon.sh stop historyserver)

hadoop安全模式，比如hadoop非正常退出，会进入安全模式

$hdfs dfsadmin -safemode get|wait|entry|leave|wait

get：获得当前是否进入安全模式

wait：等待进入安全模式

entry：强制进入安全模式

leave：强制离开安全模式

第五步：安装HBase

/home/jerry/>tar -xzf hbase-2.2.4-bin.tar.gz -C /usr/local

/home/jerry/>cd /usr/local

/usr/local/>mv hbase-2.2.4/ hbase

/usr/local/>gedit ~/.bashrc

export HBASE_HOME=/usr/local/hbase

export PATH=$PATH:$HBASE_HOME/bin

/usr/local/>source ~/.bashrc

/usr/local/>chown -R root ./habase

/usr/local/>gedit hbase/conf/hbase-site.xml

　　　　<name>hbase.rootdir</name>

　　　　<value>hdfs://localhost:9000/hbase</value>

　　</property>

　　　　<name>hbase.cluster.distributed</name>

　　</property>

<name>hbase.unsafe.stream.capability.enforce</name>

<value>false</value>

</property>

<name>hbase.zookeeper.property.dataDir</name>

<value>/usr/local/zookeeper</value>

</property>

</configuration>

hbase.rootdir：hbase在HDFS的位置，端口号一定要与/usr/local/hadoop/etc/hadoop/core-site.xml保持一致。

hbase.cluster.distributed：是否为分布式，在这里为伪分布式

hbase.unsafe.stream.capability.enforce：在分布式情况下, 一定设置为false（hbase的一个bug）

hbase.zookeeper.property.dataDir：zookeeper的位置。

/usr/local/>hbase version #有结果说明配置正确

/usr/local/>hbase-daemon.sh start master

/usr/local/>start-hbase.sh #用于启动HBase，关闭HBase用stop-hbase.sh 速度相当慢，./bin/hdfs namenode -format，但是数据全部丢失

/usr/local/>hbase shell#用于打开shell命令行模式

HBase WEB 页面http://localhost:16010

hadoop+hbase+zookeeper安装指南

第六步：安装zookeeperz文件

/home/jerry/>tar -zxvf zookeeper-3.4.11.tar.gz

/home/jerry/>mv zookeeper-3.4.11 /usr/local/zookeeper

/home/jerry/>cd /usr/local/zookeeper/conf //切换到该目录

/usr/local/zookeeper/conf >cp zoo_sample.cfg zoo.cfg//复制一份取名为zoo.cfg

/usr/local/zookeeper/conf >gedit zoo.cfg

...

syncLimit=5

# the directory where the snapshot is stored.

# do not use /tmp for storage, /tmp here is just

# example sakes.

dataDir=/tmp/zookeeper

dataLogDir=/tmp/zookeeper/logs

# the port at which the clients will connect

clientPort=2181

...

确保/tmp/zookeeper，/tmp/zookeeper/logs存在

/usr/local/>source ~/.bashrc

/usr/local/>chown -R root ./habase

/usr/local/>hbase version

/usr/local/zookeeper/conf >gedit ~/.bashrc

export ZOOKEEPER_HOME=/usr/local/zookeeper

export PATH=$PATH:$ ZOOKEEPER_HOME/bin

/usr/local/zookeeper/conf >source ~/.bashrc

cd ../bin/

/usr/local/zookeeper/bin>zkServer.sh start

在实际工作中，建议启动服务以后确定启动没有问题再关闭，最后统一启动，启动顺序为：

haddoop

hbase

zookeep

启动完毕

jps

114865 NameNode

112467 JobHistoryServer

116114 HRegionServer

111637 ResourceManager

115271 SecondaryNameNode

43386 Jps

115994 HMaster

115932 HQuorumPeer

115023 DataNode

111774 NodeManager

几种错误现象。

1，NoNode for /hbase/master

hbase(main):005:0> status

ERROR: KeeperErrorCode = NoNode for /hbase/master

For usage try 'help "status"'

Took 8.1764 seconds

原因

HMaster进程没有打开

2，启动hadoopmei没有datanode

cat /usr/local/hadoop/tmp/dfs/name/current/VERSION

记住clusterID

edit /usr/local/hadoop/tmp/dfs/data/current/VERSION

修改clusterID为刚才记录的name里面的clusterID

重新启动hadoop

3，启动hbase后不久HMaster就关闭

如果使用后hbase自带的zookeeper，建议单独安装zookeeper，否则到zookeeper主目录下删除hbase下所有内容

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,293评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,604评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,958评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,729评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,719评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,630评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,000评论 3赞 397
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,665评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,909评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,646评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,726评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,400评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,986评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,959评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,197评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,996评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,481评论 2赞 342

hadoop+hbase+zookeeper安装指南

推荐阅读更多精彩内容