hadoop 集群安装

环境:CentOs5、hadoop0.20.203、jdk1.6.0_29

namenode:centos1(ip:192.168.1.101)

datanode:centos2(ip:192.168.1.103)、centos3(ip:192.168.1.104)

配置步骤:

(1)配置NameNode和DataNode

修改每台机器的/etc/hosts(包括namenode和datanode)

127.0.0.1               localhost.localdomain localhost

192.168.1.101             centos1

192.168.1.103             centos2

192.168.1.104             centos3

(2)在所有的机器上建立相同的用户

useradd hadoop

passwd hadoop

hadoop成功建立用户后,输入用户密码就是该用户密码

(3)SSH设置

使用hadoop用户登录

在所有机器/home/hadoop下


mkdir .ssh

在namenode上生成密钥对


$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

注意点:

不进行以下步骤SSH免密码登录设置会不成功


.ssh目录要设成700 有执行权限

authorized_keys要设成600 否则会出错

还有ssh 登陆要加入用户名的 比如

ssh root@localhost

这时从centos1向其他机器发起SSH连接,只有第一次登录时需要输入密码,以后则不需要

(4)在所有机器上安装JDK

下载jdk-6u29-linux-i586.bin,安装到/usr/java下,cd到usr/java下

chmod u+x jdk-6u29-linux-i586.bin

./jdk-6u29-linux-i586.bin

接下来要设置java的环境变量输入命令:


 sudo gedit /etc/profile

在文件的最后添加以下语句:


复制代码

JAVA_HOME=/usr/java/jdk1.6.0_29

export JRE_HOME=/usr/java/jdk1.6.0_29/jre

export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

复制代码

保存退出,然后执行source /etc/profile即可。

输入java -version 命令,出现如下信息就表示配置成功


java version "1.6.0_29"

Java(TM) SE Runtime Environment (build 1.6.0_29-b11)

Java HotSpot(TM) Server VM (build 20.4-b02, mixed mode)

(5)在所有机器上安装配置Hadoop

首先在namenode上配置,配置后在分发到datanode上

在这里,下载hadoop-0.20.203.tar.gz,然后解压到/home/grid/下即可


tar -zxvf hadoop-0.20.203.tar.gz

接下来需要修改hadoop的conf文件夹下的配置信息:

修改hadoop-env.sh,加入如下语句,使得hadoop能够找到java的路径。:

export JAVA_HOME=/usr/java/jdk1.6.0_29

修改core-site.xml,如下:

复制代码

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://centos1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/hadoop/tmp</value>

</property>

</configuration>

复制代码

 注意:hadoop.tmp.dir是hadoop文件系统依赖的基础配置,很多路径都依赖它。它默认的位置是在/tmp/{$user}下面,在local和hdfs都会建有相同的目录,但是在/tmp路径下的存储是不安全的,因为linux一次重启,文件就可能被删除。导致namenode启动不起来。

修改hdfs-site.xml,如下

复制代码

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

</configuration>

复制代码

修改mapred-site.xml,如下:

复制代码

<configuration>

<property>

<name>mapred.job.tracker</name>

<value>192.168.1.101:9001</value>

</property>

</configuration>

复制代码

保险起见这里写centos1对应的IP地址

masters里写入作为namenode节点机器的IP

192.168.1.101

slaves里写入作为datanode节点的机器的IP

192.168.1.103

192.168.1.104

注意点:

修改hadoop-0.20.203.0/bin下的hadoop.

vi  hadoop

查找 –jvm . vi 下的命令模式: :/-jvm

将-jvm server改成 –server .

因为JDK1.6已经废除了一个参数-jvm,如果不修改的话,无法启动数据节点。

到此,hadoop的有关配置已经完成,namenode端通过如下命令把配置好的hadoop发送到各个datanode处:

scp -r hadoop-0.20.2 centos2:/home/hadoop

scp -r hadoop-0.20.2 centos3:/home/hadoop

(6)

注意点:关闭所有机器上的防火墙,不然会导致datanode起不来

/etc/init.d/iptables stop

在namenode端cd到hadoop文件夹下,格式化分布式文件系统:

bin/hadoop namenode -format

下面接着在namenode端启动hadoop进程:

bin/start-all.sh

如果没有其它差错的话,hadoop可以正常启动,并能够看到如下结果:

在namenode端用jps命令查看启动情况,如下:

grid@centos1:~/hadoop-0.20.203$ jps

xxxx Jps

xxxx Namenode

xxxx Secondarynamenode

xxxx JobTracker

在datanode端用jps查看启动情况,如下:

grid@centos2:~/hadoop-0.20.203$ jps

xxxx Jps

xxxx DataNode

xxxx TaskTracker

然后可以通过如下地址来查看集群运行状况:

    http://centos1:50030

    http://centos1:50070

    http://centos2:50060

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 213,254评论 6 492
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,875评论 3 387
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 158,682评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,896评论 1 285
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,015评论 6 385
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,152评论 1 291
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,208评论 3 412
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,962评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,388评论 1 304
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,700评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,867评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,551评论 4 335
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,186评论 3 317
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,901评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,142评论 1 267
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,689评论 2 362
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,757评论 2 351

推荐阅读更多精彩内容