【Hadoop】使用Ambari安装部署Hadoop集群(原)

部署环境使用4台机器,OS使用CentOS7,部署图如下:


Paste_Image.png

环境准备

1、节点间互信

# ssh-keygen -t rsa
# cat .ssh/id_rsa.pub >> .ssh/authorized_keys
# scp .ssh/authorized_keys hadoop-node1:~/.ssh/authorized_keys

将所有节点的rsa公钥信息都保存到authorized_keys文件中,并且保存到每个节点~/.ssh/目录里。然后验证一下。

# ssh hadoop-node1 date
Fri Mar 24 13:27:12 CST 2017

2、关闭防火墙、selinux

# systemctl stop firewalld
# systemctl disable firewalld

# sestatus 
SELinux status:                 enabled
SELinuxfs mount:                /sys/fs/selinux
SELinux root directory:         /etc/selinux
Loaded policy name:             targeted
Current mode:                   enforcing
Mode from config file:          enforcing
Policy MLS status:              enabled
Policy deny_unknown status:     allowed
Max kernel policy version:      28

# setenforce 0
# vi /etc/sysconfig/selinux
SELINUX=disabled

安装Ambari-server

在控制节点上,安装ambari-server包(关于ambari编译,请参考另一篇文章“Ambari 2.4.2源代码编译”)及其依赖。

# yum install ambari-server -y

配置ambari server。

# ambari-server setup
/usr/sbin/ambari-server: line 33: buildNumber: unbound variable

查看执行脚本,发现33行buildNumber环境变量没有定义值。

# export buildNumber=2.4.2.0
# ambari-server setup
询问daemon的用户账号,使用默认root用户即可。
检查防火墙和配置JDK。
配置数据库,选择1,其余默认即可。

完成ambari-server的配置。
启动ambari-server。

# ambari-server start
Using python  /usr/bin/python
Starting ambari-server
Ambari Server running with administrator privileges.
Organizing resource files at /var/lib/ambari-server/resources...
Ambari database consistency check started...
No errors were found.
Ambari database consistency check finished
Server PID at: /var/run/ambari-server/ambari-server.pid
Server out at: /var/log/ambari-server/ambari-server.out
Server log at: /var/log/ambari-server/ambari-server.log
Waiting for server start....................
Ambari Server 'start' completed successfully.

在受控节点上,安装Ambari-agent

# yum install ambari-agent -y
# vi /etc/ambari-agent/conf/ambari-agent.ini
[server]
#改为控制节点的机器名(IP也可)
hostname=hadoop-node0
# scp /etc/ambari-agent/conf/ambari-agent.ini \
   hadoop-node2:/etc/ambari-agent/conf/ambari-agent.ini
# scp /etc/ambari-agent/conf/ambari-agent.ini \
   hadoop-node3:/etc/ambari-agent/conf/ambari-agent.ini

启动agent。

# export buildNumber=2.4.2.0
# ambari-agent start
Verifying Python version compatibility...
Using python  /usr/bin/python
Checking for previously running Ambari Agent...
Starting ambari-agent
Verifying ambari-agent process status...
Ambari Agent successfully started
Agent PID at: /run/ambari-agent/ambari-agent.pid
Agent out at: /var/log/ambari-agent/ambari-agent.out
Agent log at: /var/log/ambari-agent/ambari-agent.log

使用Ambari部署Hadoop集群

打开浏览器,访问http://<ambari-server-host>:8080。

http://hadoop-node0:8080

用户名密码使用admin/admin。

登录首页

1) 为集群定义名称

定义名称

2) 选择部署版本

选择部署版本

3) 安装选项

选项

因为前面已经安装了agent。所以这里选择手工注册。

警告
注册成功

注意:Target Hosts应填写主机名。

4) 选择安装的服务


服务列表

5)各服务的master配置情况


各服务master配置部署情况

6) 各服务的slave/client配置情况


各服务的slave/client配置情况

7)自定义配置部分


自定义配置
Ambari Metrices配置

注:密码都配置为“123456”。

8)Review配置信息


Review配置信息

9)开始安装、启动、测试


开始安装
完成安装检验

10)总结

总结

11)完成集群部署,显示集群状态


集群状态
注意:

在安装过程中,配置HDP的URL时,由于网络问题,经常失败,可以下载下面的包,自己创建yum源来解决传输慢的问题。

  1. ambari-2.4.2.0-centos7.tar.gz
  2. HDP-2.5.3.0-centos7-rpm.tar.gz
  3. HDP-UTILS-1.1.0.21-centos7.tar.gz
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 212,332评论 6 493
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 90,508评论 3 385
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 157,812评论 0 348
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 56,607评论 1 284
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 65,728评论 6 386
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 49,919评论 1 290
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,071评论 3 410
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 37,802评论 0 268
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,256评论 1 303
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 36,576评论 2 327
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 38,712评论 1 341
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 34,389评论 4 332
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,032评论 3 316
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 30,798评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,026评论 1 266
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 46,473评论 2 360
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 43,606评论 2 350

推荐阅读更多精彩内容

  • Codis 3.2 部署配置汇总 概念总结 集群配置前需要了解架构,集群分片主要分三种: 客户端分片:这个需要自己...
    三杯水Plus阅读 5,982评论 0 11
  • Apache HAWQ是目前社区比较火的一种SQL-on-Hadoop方案,由Pivotal公司开发并贡献给了Ap...
    小白_18M阅读 12,600评论 6 13
  • Spring Cloud为开发人员提供了快速构建分布式系统中一些常见模式的工具(例如配置管理,服务发现,断路器,智...
    卡卡罗2017阅读 134,637评论 18 139
  • 这个月是母亲去世的第三十二个月,时间过得很快,不仅体现在2016年岁月的迅速流逝,还有很多参照的东西,比如我的小说...
    思想聚焦的原创阅读 577评论 0 6
  • 一个你永远也不能见的人。 一段感情化为沉寂。 一个你想和她做一辈子朋友的人。 一种总是错过。 今天是你的生日。 我...
    沐藤nsa阅读 307评论 0 0