Ubuntu上安装Hadoop集群

前面我们介绍了在Ubuntu上安装Hadoop单机版。但是我们知道,Hadoop在实际工作中都是以集群的形式存在的,毕竟需要处理大量的数据,单机的处理速度显然不能满足。所以这篇文章我们就来介绍一下如何在Ubuntu上搭建Hadoop
集群。

准备阶段

  • 三台在同一局域网内的Linux机器或者虚拟机。
  • 配置好Host文件,让三台机器可以通过主机名进行访问。
  • 三台机器上都安装了JDK。
  • 在其中一台上安装好Hadoop,安装方法可以参考前面的文章

配置SSH免密登录

你可能很奇怪我要搭建的是Hadoop集群,为啥需要配置SSH免密登录呢。有两点原因:

  1. 在启动集群上所有的节点的时候无需重复输入密码。
  2. 我们在搭建集群的时候需要将Hadoop的文件夹复制到其他机器上,如果是一两台的话copy起来很快,
    但是如果是几百台呢,所以这个时候如果机器之间可以免密登录的话我们可以很方便的使用脚本完成整个工作。
    具体的配置方式可以看下我之前的文章,SSH免密登录(内含批量配置脚本)

修改单机版的配置文件

  1. 修改core-site.xml,只需要修改fs.defaultFS配置项即可,hadoop.tmp.dir不需要修改。
<property>
    <name>fs.defaultFS</name>
    <!-- 修改为namenode的地址,改成主机名 -->
    <value>hdfs://test:9000</value>
</property>
  1. 修改``hdfs-site.xml`,主要是修改HDFS存储文件副本的数量,之前单机版的时候设置为1,现在改为2(这个配置项默认的配置为2)。
<!-- 指定HDFS副本的数量 -->
<property>
    <name>dfs.replication</name>
    <value>2</value>
</property>

安装包复制,并设置环境变量

其实在我们搭建好一台机器的Hadoop环境后只需要下面几步就可以完成集群环境的搭建了:

  1. 将Hadoop的安装目录拷贝到其他机器上。
  2. 在其他机器上配置Hadoop环境变量。
  3. 执行source /etc/profile命令,使得环境变量生效。
  4. 修改namenode的slave文件,指定datanode是哪几台机器

前面两步我写好了脚本,直接执行一下就可以了。第3步中说的slave文件在hadoop的安装目录下的etc/hadoop/slave,我这里用的test01和test02两台机器做datanode。

test01
test02

脚本地址
附上脚本使用说明

  1. 需要保证脚本文件夹中的两个脚本文件在同一目录下。
  2. 如果Hadoop的安装目录不为/root/apps/hadoop/hadoop-2.8.5,则需要修改脚本中hadoop的安装位置(两个脚本中都需要修改)。
  3. 修改脚本中机器名称,SERVERS变量。

环境启动

  1. 在namenode机器上执行下面的命令

    start-all.sh
    
  2. 在浏览器中访问`http://{机器IP}:50070,查看到如下结果即代表成功。


    启动结果
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 216,843评论 6 502
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 92,538评论 3 392
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 163,187评论 0 353
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 58,264评论 1 292
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 67,289评论 6 390
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 51,231评论 1 299
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 40,116评论 3 418
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,945评论 0 275
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 45,367评论 1 313
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,581评论 2 333
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,754评论 1 348
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,458评论 5 344
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 41,068评论 3 327
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,692评论 0 22
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,842评论 1 269
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,797评论 2 369
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,654评论 2 354

推荐阅读更多精彩内容