总目录:https://www.jianshu.com/p/e406a9bc93a9
Hadoop - 子目录：https://www.jianshu.com/p/9428e443b7fd
Ambari+HDP简介
虚拟机准备
| 主机名 | IP | 角色 | 内存 | 核数 | 磁盘 |
|---|---|---|---|---|---|
| hadoop01 | 192.168.10.201 | Master | 4G | 1 | 20G |
| hadoop02 | 192.168.10.202 | Slave | 2G | 1 | 20G |
| hadoop03 | 192.168.10.203 | Slave | 2G | 1 | 20G |
环境配置
网络配置
ifcfg-ens33
ifcfg-ens33
其他几个也是这样配置。
hostname
[root@ambari ~] cat /etc/hostname
hadoop01
修改主机名。
network
[root@ambari ~] cat /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=cm
配置主机名与网络状态的关系。
hosts
[root@ambari ~] cat /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.10.201 hadoop01
192.168.10.202 hadoop02
192.168.10.203 hadoop03
ip与主机名映射表。
关闭防火墙
systemctl stop firewalld.service
systemctl disable firewalld.service
服务配置
yum -y install chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb
关闭SELinux
vim /etc/selinux/config
修改SELINUX=disabled
ssh免密登录
生成密钥
ssh-keygen -t rsa -f ~/.ssh/id_rsa
传输密钥
ssh-copy-id hadoop01
ssh-copy-id hadoop02
ssh-copy-id hadoop03
三台互传
jdk环境
首先创建放软件的文件夹。
cd /usr
mkdir hdk
然后上传安装包，解压
[root@ambari hdk] tar -zxvf jdk-1.8.tar.gz
[root@ambari hdk] ll
总用量 155296
drwxr-xr-x. 8 10 143 255 6月 17 2014 jdk1.8.0_11
-rw-r--r--. 1 root root 159019376 4月 3 15:16 jdk-1.8.tar.gz
[root@ambari hdk] rm jdk-1.8.tar.gz
rm：是否删除普通文件 "jdk-1.8.tar.gz"？y
[root@ambari hdk] mv jdk1.8.0_11/ jdk8
[root@ambari hdk] ll
总用量 0
drwxr-xr-x. 8 10 143 255 6月 17 2014 jdk8
配置环境变量
vi /etc/profile
# jdk8
export JAVA_HOME=/usr/hdk/jdk8
PATH=$JAVA_HOME/bin:$PATH
export PATH
刷新环境变量
[root@ambari hdk] source /etc/profile
[root@ambari hdk] java -version
java version "1.8.0_11"
Java(TM) SE Runtime Environment (build 1.8.0_11-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.11-b03, mixed mode)
把环境变量文件和jdk8目录传到其他节点上。
scp /etc/profile root@hadoop01:/etc
scp /etc/profile root@hadoop02:/etc
scp /etc/profile root@hadoop03:/etc
scp -r jdk8/ root@hadoop01:/usr/hdk
scp -r jdk8/ root@hadoop02:/usr/hdk
scp -r jdk8/ root@hadoop03:/usr/hdk
然后各自刷新环境变量。
这样三个节点的java环境就ok了。
mysql5.6
先检查是否已经安装了MySQL。
rpm -qa | grep mysql
返回空就是没有安装。
然后卸载mariadb数据库，因为在centos7中默认集成mariadb数据库。
rpm -qa|grep mariadb|xargs rpm -e --nodeps
检查是否卸掉
rpm -qa|grep -i mariadb
接着正式安装mysql5.6
下载
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
安装
rpm -ivh mysql-community-release-el7-5.noarch.rpm
yum install mysql-server
设置服务
systemctl start mysqld.service #启动 mysql
systemctl restart mysqld.service #重启 mysql
systemctl stop mysqld.service #停止 mysql
systemctl enable mysqld.service #设置 mysql 开机启动
设置密码
mysql -u root
mysql> use mysql;
mysql> update user set password=PASSWORD("123456") where User='root';
mysql> flush privileges;
设置远程访问
mysql> use mysql
mysql> select User, Host, Password from user;
mysql> update user set host='%' where host='localhost';
mysql> delete from user where Host='ambari.gey.com';
mysql> delete from user where Host='127.0.0.1';
mysql> delete from user where Host='::1';
mysql> flush privileges;
预建立一些库
// 集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
// hive数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;
注意事项：
如果ifconfig命令不能用
yum isntall net-tools
如果wget命令不能用
yum isntall wget
如果使用wget命令时报错无法解析主机地址。
cd /etc
echo 'nameserver 223.5.5.5
nameserver 223.6.6.6' > resolv.conf
