1先解决最小化ip问题
https://www.jianshu.com/p/2d54949165a9
2设置机器名
vi /etc/sysconfig/network
# Created by anaconda
NETWORKING=yes
HOSTNAME=hadoop01
3设置Host文件
vi /etc/hosts
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.91.128 hadoop01
4关闭防火墙(所有节点)
检查防火墙的状态:
从centos7开始使用systemctl来管理服务和程序,包括了service和chkconfig。
[root@localhost ~]#systemctl list-unit-files|grep firewalld.service
--防火墙处于关闭状态
firewalld.service disabled
关闭防火墙:
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall开机启动
关闭SElinux(所有节点) :
1.使用getenforce命令查看是否关闭
如果屏幕输出Enforcing,则表示SElinux为开启状态。
2.修改/etc/selinux/config 文件
将SELINUX=enforcing改为SELINUX=disabled,执行该命令后重启机器生效
配置NTP服务(所有节点)
如果您正在使用NTPD 同步你的主机时钟,但是 chronyd 也正在运行,Cloudera Manager依赖 chronyd验证时间同步,即使它没有正确同步。这可能导致Cloudera Manager报告 时钟偏移错误,即使时间正确。
要解决此问题,请配置和使用 chronyd 或禁用它并从主机中删除它。
systemctl disable chronyd 彻底禁用chrony服务
systemctl stop chronyd 停止chrony服务
使用 NTPD 时间同步:
Install the ntp package:
yum install ntp -y
Edit the /etc/ntp.conf
file to add NTP servers, as in the following example.
server 0.pool.ntp.org
server 1.pool.ntp.org
server 2.pool.ntp.org
Start the ntpd
service:
sudo systemctl start ntpd
Configure the ntpd
service to run at boot:
sudo systemctl enable ntpd
Synchronize the system clock to the NTP server:
ntpdate -u 0.pool.ntp.org
Synchronize the hardware clock to the system clock:
hwclock --systohc
5安装JDK1.8
https://www.jianshu.com/p/456041b488c9
6安装MySQL
https://www.jianshu.com/p/1c41ce3e9305
7克隆出新节点,并且ssh免密发送秘钥
设置SSH无密码登录
Hadoop集群中的各个机器间会相互地通过SSH访问,每次访问都输入密码是不现实的,所以要配置各个机器间的SSH是无密码登录的。
1、 在hadoop01上生成公钥
[root@hadoop01 ~]# ssh-keygen -t rsa
一路回车,都设置为默认值,然后再当前用户的Home目录下的.ssh目录中会生成公钥文件(id_rsa.pub)和私钥文件(id_rsa)。
2、 分发公钥
yum -y install openssh-server openssh-clients
[root@hadoop01 ~] ssh-copy-id hadoop01
[root@hadoop01 ~] ssh-copy-id hadoop02
[root@hadoop01 ~] ssh-copy-id hadoop03
3、 设置hadoop02、hadoop03到其他机器的无密钥登录
同样的在hadoop02、hadoop03上生成公钥和私钥后,将公钥分发到三台机器上。
部分功能
添加域名解析
在/etc/resolv.conf添加:
nameserver 114.114.114.114
nameserver 8.8.8.8
nameserver 8.8.4.4
然后执行
chattr +i /etc/resolv.conf
配置epel源
在root用户下执行下面命令:
rpm -ivh http://mirrors.yun-idc.com/epel/6/x86_64/epel-release-6-8.noarch.rpm
yum repolist
安装常用工具
yum install wget vim gcc zip unzip -y
配置最大文件打开数
在root用户下执行下面命令:
echo ulimit -n 65536 >> /etc/profile
source /etc/profile
ulimit -n
vim /etc/security/limits.conf
在文件尾部添加如下代码:
* soft nofile 65536
* hard nofile 65536
重启系统,在任何用户下查看最大打开文件数:ulimit -n 结果都是65536
更新系统
yum update