Ambari简介
以下内容摘自百度百科
Apache Ambari是一种基于Web的工具,支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件,包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeper、Sqoop和Hcatalog等。
Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等的集中管理。也是5个顶级hadoop管理工具之一。
就 Ambari 的作用来说,就是创建、管理、监视 Hadoop 的集群,但是这里的 Hadoop 是广义,指的是 Hadoop 整个生态圈(例如 Hive,Hbase,Sqoop,Zookeeper 等),而并不仅是特指 Hadoop。用一句话来说,Ambari 就是为了让 Hadoop 以及相关的大数据软件更容易使用的一个工具。
Ambari主要取得了以下成绩:
- 通过一步一步的安装向导简化了集群供应。
- 预先配置好关键的运维指标(metrics),可以直接查看Hadoop Core(HDFS和MapReduce)及相关项目(如HBase、Hive和HCatalog)是否健康。
- 支持作业与任务执行的可视化与分析,能够更好地查看依赖和性能。
- 通过一个完整的RESTful API把监控信息暴露出来,集成了现有的运维工具。
- 用户界面非常直观,用户可以轻松有效地查看信息并控制集群。
准备工作
需要的工具有:yum rpm scp curl wget pdsh 前几个一般系统都自带了,pdsh需要自己装
使用如下命令:
sudo yum -y install epel-release
sudo yum install pdsh
配置hosts
执行命令:
sudo vi /etc/hosts
添加如下内容(根据情况修改,dn1这名字最好和节点服务器的主机名相同,以防后期可能会出主机名不一致的错):
192.168.1.49 master master.hadoop.test
192.168.1.48 dn1 dn1.hadoop.test
192.168.1.47 dn2 dn2.hadoop.test
配置ssh免登录
选定master.hadoop.test作为ambari server,需要配置该节点到其它节点的ssh免登录
cd ~
ssh-keygen
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
一直敲回车,遇到(y/n)?敲y 回车
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys
配置本地的免登录
scp ~/.ssh/authorized_keys root@dn1:/root/.ssh/
scp ~/.ssh/authorized_keys root@dn2:/root/.ssh/
其他
setenforce 0
chkconfig iptables off
/etc/init.d/iptables stop
umask 022
安装Ambari Server
添加yum资源库
wget http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.1.1/ambari.reposud
cp ambari.repo /etc/yum.repos.d
yum repolist
开始安装
sudo yum install ambari-server
ambari-server setup
以上两个可能会因为网络原因,Python版本,jdk安装等原因失败
中途会出现选择数据库的选项,选择推荐的
在执行ambari-server setup时出现错误或者感觉里面的选项错误时要重新执行时先执行 ambari-server reset 后在执行 ambari-server setup
启动服务
ambari-server start
服务启动成功后打开浏览器访问http://本机ip:8080 如: (http://192.168.1.46:8080)
用户名和密码:admin/admin
出现Running server: ***(一些java参数) 可能是jdk的问题
出现启动成功,但是却访问不了的情况,查看日志文件会发现java抛了找不到host的异常,在/etc/hosts里加入 本机ip 主机名 (192.168.1.46 likun)
Hadoop集群搭建搭
搭建集群的按钮
新建集群
输入集群名称,名字不支持 -号空格等
版本号选择
系统的版本不同悬着的os版本也不同
创建ssh免登陆时,.ssh文件夹下有该文件
这一步很容易因为配置文件的原因出错(可能节点服务器没设置好dns,导致yum不能使用,也可能节点主机名和先前填写的主机名不一致)
选择要安装哪些
要在什么机器上装什么自己选
正在安装
监控页面