vmware搭建hadoop集群

0. 安装环境

安装系统版本，集群IP列表

ubunut 16.04 server

192.168.24.128  ubuntu-master
192.168.24.129  ubuntu-slave1
192.168.24.130  ubuntu-slave2

1. 创建用户和用户组(hadoop 用户的密码也是hadoop 方便记忆)

useradd hadoop
passwd hadoop
groupadd bigdata
usermod -a -G bigdata hadoop
mkdir /home/hadoop
chown -R hadoop:bigdata /home/hadoop

2. 更改hosts 文件以及对应的机器hostname

host文件 /etc/hosts
hostname文件 /etc/hostname

cat /etc/hosts
192.168.24.128  ubuntu-master
192.168.24.129  ubuntu-slave1
192.168.24.130  ubuntu-slave2

在这里要注意，我安装的集群是用虚拟机创建的，机器之间是直接复制虚拟机的方式，这时有一个问题就是机器的hostname都是一样的，这样一来，即使修改了hosts 文件，但是每台机器的hostname 并没有生效，需要修改各自的hostname保持和上述文件中一样的对应关系。

3. 无密码登陆

在每台虚拟机上分别执行以下命令

ssh-keygen -t rsa -P ""
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys

执行

ssh localhost

可以发现此时无需输入密码

集群之间的无密码ssh 通信

以192.168.24.128/129/130 三台机为例

登录192.168.24.128

ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@192.168.24.129
ssh-copy-id -i $HOME/.ssh/id_rsa.pub hadoop@192.168.24.130

5. 设置环境变量

安装jdk,并设置环境变量，我的.bashrc文件的相关内容如下

#set oracle jdk environment
export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_79  ## 这里要注意目录要换成自己解压的jdk 目录
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
export PATH=${JAVA_HOME}/bin:$PATH

5. 上传hadoop压缩包到指定目录并解压

$ ls
hadoop-2.6.2  hadoop-2.6.2.tar.gz

6. 修改相应的配置文件

需要修改的文件列表如下

~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh
~/hadoop/etc/hadoop/slaves
~/hadoop/etc/hadoop/core-site.xml
~/hadoop/etc/hadoop/hdfs-site.xml
~/hadoop/etc/hadoop/mapred-site.xml
~/hadoop/etc/hadoop/yarn-site.xml

以下两个文件设置的内容为JAVA_HOME环境变量

~/hadoop/etc/hadoop/hadoop-env.sh
~/hadoop/etc/hadoop/yarn-env.sh

设置slave机器的列表

cat ~/hadoop/etc/hadoop/slaves
192.168.24.129
192.168.24.130

~/hadoop/etc/hadoop/core-site.xml

<configuration>
  <property>
    <name>hadoop.tmp.dir</name>  
    <value>/home/hadoop/bigdata/hadoop/tmp</value>
  </property>
  <property>
    <name>fs.default.name</name>  
    <value>hdfs://192.168.24.128:9000</value>
  </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.http.address</name>  
    <value>192.168.24.128:50070</value>
  </property>  
  <property>
    <name>dfs.namenode.secondary.http-address</name>  
    <value>192.168.24.128:50090</value>
  </property>  
  <property>
    <name>dfs.replication</name>  
    <value>1</value>
  </property>
</configuration>

mapred-site.xml

<configuration>
  <property>
    <name>mapred.job.tracker</name>  
    <value>192.168.24.128:9001</value>
  </property>  
  <property>
    <name>mapred.map.tasks</name>  
    <value>2</value>
  </property>  
  <property>
    <name>mapred.reduce.tasks</name>  
    <value>2</value>
  </property>  
  <property>
    <name>mapreduce.framework.name</name>  
    <value>yarn</value>
  </property>  
  <property>
    <name>mapreduce.jobhistory.address</name>  
    <value>192.168.24.128:10020</value>
  </property>  
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>  
    <value>192.168.24.128:19888</value>
  </property>
</configuration>

yarn-site.xml

<configuration>
  <!-- Site specific YARN configuration properties -->  
  <property>
    <name>yarn.resourcemanager.address</name>  
    <value>192.168.24.128:8032</value>
  </property>  
  <property>
    <name>yarn.resourcemanager.scheduler.address</name>  
    <value>192.168.24.128:8030</value>
  </property>  
  <property>
    <name>yarn.resourcemanager.webapp.address</name>  
    <value>192.168.24.128:8088</value>
  </property>  
  <property>
    <name>yarn.resourcemanager.resource-tracker.address</name>  
    <value>192.168.24.128:8031</value>
  </property>  
  <property>
    <name>yarn.resourcemanager.admin.address</name>  
    <value>192.168.24.128:8033</value>
  </property>  
  <property>
    <name>yarn.nodemanager.aux-services</name>  
    <value>mapreduce_shuffle</value>
  </property>  
  <property>
    <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>  
    <value>org.apache.hadoop.mapred.ShuffleHandler</value>
  </property>
</configuration>

按照上面的配置之后应该来说就可以了，但是在之前安装的过程中，我遇到过任务hang住的情况，查找资料发现是内存不够的原因，由于是自己电脑跑的虚拟机，内存有限，于是针对内存情况增加如下配置：

mapred-site.xml

<property>
 <name>mapreduce.map.memory.mb</name>
 <value>230</value>
</property>

<property>
 <name>mapreduce.reduce.memory.mb</name>
 <value>460</value>
</property>

<property>
 <name>mapreduce.map.java.opts</name>
 <value>-Xmx184m</value>
</property>

<property>
 <name>mapreduce.reduce.java.opts</name>
 <value>-Xmx368m</value>
</property>

<property>
 <name>yarn.app.mapreduce.am.resource.mb</name>
 <value>460</value>
</property>

<property>
 <name>yarn.app.mapreduce.am.command-opts</name>
 <value>-Xmx368m</value>
</property>

yarn-site.xml

<property>
 <name>yarn.nodemanager.resource.memory-mb</name>
 <value>700</value>
</property>

<property>
 <name>yarn.scheduler.minimum-allocation-mb</name>
 <value>230</value>
</property>

<property>
 <name>yarn.scheduler.maximum-allocation-mb</name>
 <value>700</value>
</property>

7. 启动

首次启动需要先在 Master 节点执行 NameNode 的格式化：

./hdfs namenode -format
进入~/hadoop/sbin目录
./start-dfs.sh
./start-yarn.sh
./mr-jobhistory-daemon.sh start historyserver

查看进程

hadoop@ubuntu-master:~$ jps
6193 ResourceManager
5863 NameNode
6051 SecondaryNameNode
6476 JobHistoryServer
6937 Jps
hadoop@ubuntu-slave1:~$ jps
3536 Jps
2884 NodeManager
2771 DataNode
hadoop@ubuntu-slave2:~$ jps
2937 NodeManager
2826 DataNode
3653 Jps

登录192.168.24.128:50070可以看到hadoop集群基本信息

8. 运行测试例子

进入 ~/hadoop/bin目录

./hdfs dfs -mkdir -p /user/hadoop
./hdfs dfs -mkdir input
./hdfs dfs -put /home/hadoop/bigdata/hadoop/etc/hadoop/*.xml input

./hadoop jar /home/hadoop/bigdata/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]+'

运行程序部分结果如下：

17/01/13 23:45:14 INFO client.RMProxy: Connecting to ResourceManager at /192.168.24.128:8032
17/01/13 23:45:17 WARN mapreduce.JobResourceUploader: No job jar file set.  User classes may not be found. See Job or Job#setJar(String).
17/01/13 23:45:17 INFO input.FileInputFormat: Total input paths to process : 9
17/01/13 23:45:18 INFO mapreduce.JobSubmitter: number of splits:9
17/01/13 23:45:19 INFO mapreduce.JobSubmitter: Submitting tokens for job: job_1484322039697_0001
17/01/13 23:45:20 INFO mapred.YARNRunner: Job jar is not present. Not adding any jar to the list of resources.
17/01/13 23:45:21 INFO impl.YarnClientImpl: Submitted application application_1484322039697_0001
17/01/13 23:45:22 INFO mapreduce.Job: The url to track the job: http://ubuntu-master:8088/proxy/application_1484322039697_0001/
17/01/13 23:45:22 INFO mapreduce.Job: Running job: job_1484322039697_0001
17/01/13 23:45:53 INFO mapreduce.Job: Job job_1484322039697_0001 running in uber mode : false
17/01/13 23:45:53 INFO mapreduce.Job:  map 0% reduce 0%
17/01/13 23:46:22 INFO mapreduce.Job:  map 11% reduce 0%
17/01/13 23:46:43 INFO mapreduce.Job:  map 22% reduce 0%
17/01/13 23:47:08 INFO mapreduce.Job:  map 33% reduce 0%
17/01/13 23:47:09 INFO mapreduce.Job:  map 44% reduce 0%
17/01/13 23:47:10 INFO mapreduce.Job:  map 56% reduce 0%
17/01/13 23:47:11 INFO mapreduce.Job:  map 67% reduce 0%
17/01/13 23:47:59 INFO mapreduce.Job:  map 78% reduce 0%
17/01/13 23:48:03 INFO mapreduce.Job:  map 100% reduce 0%
17/01/13 23:48:24 INFO mapreduce.Job:  map 100% reduce 50%
17/01/13 23:48:46 INFO mapreduce.Job:  map 100% reduce 100%
17/01/13 23:48:47 INFO mapreduce.Job: Job job_1484322039697_0001 completed successfully
... ...

9. 后记

之前也零零散散装过几次hadoop，但是没有记录笔记，之前安装的虚拟机也被删除了，这此就重新整理了一下，以便以后参考。
安装的过程并不顺利，中间遇到了磕磕绊绊的小问题，之后会整理单独一个遇到问题的笔记，暂时就这样

最后编辑于：2017.12.08 06:55:23

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 212,080评论 6赞 493
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 90,422评论 3赞 385
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 157,630评论 0赞 348
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 56,554评论 1赞 284
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 65,662评论 6赞 386
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 49,856评论 1赞 290
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 39,014评论 3赞 408
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 37,752评论 0赞 268
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 44,212评论 1赞 303
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 36,541评论 2赞 327
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 38,687评论 1赞 341
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 34,347评论 4赞 331
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 39,973评论 3赞 315
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 30,777评论 0赞 21
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 32,006评论 1赞 266
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 46,406评论 2赞 360
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 43,576评论 2赞 349