hadoop集群完全分布式安装(亲测有效)

网上相关教程良莠不齐,本人小白吐血力作,希望对您有帮助。

谁说大象不能跳舞?!


centos6.7+hadoop2.6.4+jdk1.7.0_45+vmware

1、centos虚拟环境配置:

<1>先将虚拟机的网络模式选为NAT;

<2>vmware下安装centos6.7,选择“稍后安装操作系统”,此时记住选择网络模式为NAT8;

<3>安装成功后,修改主机名:

      vi /etc/sysconfig/network:

      NETWORKING=yes

      HOSTNAME=自定义主机名    

<4>修改IP

      两种方式:

                第一种:通过Linux图形界面进行修改:

                第二种:修改配置文件方式:

                vim /etc/sysconfig/network-scripts/ifcfg-eth0

                修改:BOOTPROTO=static

                添加:IPADDR=192.168.137.101          

                           NETMASK=255.255.255.0          

                           GATEWAY=192.168.137.2            

注意:虚拟机ip地址、网关等配置(可联网):

          a>将本地以太网与vmware NAT8共享,此时电脑会自动分配一个ip地址,例如您电脑共享后分配的ip地址是192.168.137.1,子网掩码是255.255.255.0;

          b>在vmware中将NAT模式设置如图1-1(一般设置子网IP和共享的NAT8的IP地址在同一个网段,然后vmware会自动分配网关IP):

图1-1

           c>虚拟机ip地址应和vmware的子网IP在同一个网段,并且不和本地共享的ip相同。虚拟机的网关和DNS与vmware的网关地址相同。

<5>修改主机名和IP的映射关系

      vim /etc/hosts

                  192.168.137.101 master

                  192.168.137.102 slaveone

                  192.168.137.103 slavetwo

<6>关闭防火墙

      #查看防火墙状态

      service iptables status

      #关闭防火墙

      service iptables stop

      #关闭防火墙开机启动

      chkconfig iptables off

      #查看防火墙开机启动状态

      chkconfig iptables --list

<7>添加用户,例如hadoop用户,修改sudo权限:

      添加用户:useradd:hadoop    passwd:xxxx

      修改sudo权限:vim /etc/sudoers

                               ## Allow root to run any commands anywhere

                              root    ALL=(ALL)      ALL

                              hadoop    ALL=(ALL)      ALL

<8>可选:关闭linux服务器的图形界面:

                 vi /etc/inittab      

<10>配置ssh无密钥登陆

       a>进入到我的home目录,cd .ssh目录下

       b>ssh-keygen -t rsa (四个回车):

          执行完这个命令后,会生成两个文件id_rsa(私钥)、id_rsa.pub(公钥)

      c>将公钥拷贝到要免密登陆的目标机器上:

          例如,在.ssh目录下:scp id_rsa.pub 主机名或地址:/home/hadoop

      d>在目标机器下追加公钥:

             在.ssh目录下创建authorized_keys文件:touch  authorized_keys

             在.ssh目录下修改authorized_keys的权限:chmod 600 authorized_keys

             在.ssh目录下执行:cat id_rsa.pub >> authorized_keys

<9>重启Linux:reboot

<9>子节点做以上重复操作

2、一般情况下,我们都要将linux自带的OPENJDK卸载掉,然后安装SUN的JDK;

 1)首先:查看Linux自带的JDK是否已安装:

     <1># java -version:查看自带版本

    <2># rpm -qa|grep java:查看jdk的信息

     一般将获得如下信息:java-1.4.2-gcj-compat-1.4.2.0-40jpp.115          

                                         java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

     <3># yum -y remove java java-1.4.2-gcj-compat-1.4.2.0-40jpp.115        // 卸载

              yum -y remove  java-1.6.0-openjdk-1.6.0.0-1.7.b09.el5

3、安装SUN的JDK,配置环境变量(vim /etc/proflie),执行(source /etc/profile),最后测试java是否安装成功,子节点远程copy主节点jdk到相应目录下;

4、安装hadoop2.6.4,配置环境变量(vim /etc/proflie),执行(source /etc/profile),最后测试hadoop是否安装成功;

      3,4配置好后的profile如下:

          export JAVA_HOME=/usr/local/jdk1.7.0_45

          export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4

          export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

5、配置集群/分布式环境

首先创建三个目录:/home/hadoop/apps/hadoop-2.6.4/data/tmp

                                /home/hadoop/apps/hadoop-2.6.4/data/data

                                /home/hadoop/apps/hadoop-2.6.4/data/name

并修改data和data目录下的data tmp name四个目录的权限为777

在hadoop目录下:

    <1>hadoop-env.sh

hadoop-env.sh

    <2>core-site.xml

    core-site.xml

    <3>hdfs-site.xml

   hdfs-site.xml

    <4>mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

mapred-site.xml

   <5>yarn-site.xml

yarn-site.xml

   <6>修改/home/hadoop/app/hadoop-2.5.2/etc/hadoop下得slaves文件:

      vi slaves

      添加子节点主机名,例如slaveone,slavetwo

    <7>子节点远程copy主节点hadoop到相应目录下,并做好配置环境变量(vim /etc/proflie)和执行(source /etc/profile)生效。

6、启动hadoop集群环境

     <1>格式化hdfs:hadoop namenode -format

     <2>start-all.sh

    <3>检查节点jps是否生效

主节点jps进程:

主节点jps

子节点jps进程:


子节点jps
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 194,457评论 5 459
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 81,837评论 2 371
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 141,696评论 0 319
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 52,183评论 1 263
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 61,057评论 4 355
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 46,105评论 1 272
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 36,520评论 3 381
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 35,211评论 0 253
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 39,482评论 1 290
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 34,574评论 2 309
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 36,353评论 1 326
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 32,213评论 3 312
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 37,576评论 3 298
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 28,897评论 0 17
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 30,174评论 1 250
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 41,489评论 2 341
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 40,683评论 2 335

推荐阅读更多精彩内容