前言
准备在自己的MBP上搭建一个小的Hadoop集群玩玩，顺便看看会遇到什么坑。初步打算设置三个节点，其中将MBP设置为master节点，另外用虚拟机创建两个slave节点。
第一步的主要任务有：
- 创建2个虚拟机
- 设置静态ip
- 设置ssh免密登陆
准备工作
- Mac OS Sierra 10.12.6
- Parallels Desktop 13.2.0
安装虚拟机
我选择的时PD里面提供的CentOS 7作为虚拟机。安装过程省略，
image.png
安装了两台虚拟机分别名为slave1和slave2
image.png
虚拟机网络设置
为了共享MBP的网络，需要对虚拟机的网络进行配置，请参考如何将Mac共享主机网络给虚拟机
我的配置如下
image.png
设置静态ip
分别在虚拟机中编辑 /etc/sysconfig/network-scripts/ifcfg-eth0, 添加IPADDR属性后重启即可. 当然也可以用UI界面直接设置。
例如我为salve1设置了IPADDR=192.168.100.4。 以下是我的配置：
[parallels@slave1 .ssh]$ cat /etc/sysconfig/network-scripts/ifcfg-eth0
TYPE=Ethernet
BOOTPROTO=dhcp
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=eth0
UUID=9410076c-bee9-4886-af6c-537c17bcfee0
DEVICE=eth0
ONBOOT=yes
IPADDR=192.168.100.4
然后运行 service network restart 重启虚拟机网络
更新hosts文件
这里需要对全部三个节点的hosts进行更新，在 /etc/hosts 加入三台节点的host信息，例如，以下是我添加的代码：
#Hadoop Cluster
192.168.100.2 master
192.168.100.4 slave1
192.168.100.5 slave2
然后运行 service network restart 重启虚拟机网络
设置SSH免密
分别在三个节点上执行以下代码生成RSA密钥
ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
ssh localhost
在Slave1上执行以下代码，将自己的公钥添加到其他两台节点的authorized_keys中
cat ~/.ssh/id_rsa.pub | ssh parallels@slave2'cat >> .ssh/authorized_keys && echo "Key copied"'
cat ~/.ssh/id_rsa.pub | ssh lestat@master 'cat >> .ssh/authorized_keys && echo "Key copied"'
在Slave2上执行以下代码
cat ~/.ssh/id_rsa.pub | ssh parallels@slave1'cat >> .ssh/authorized_keys && echo "Key copied"'
cat ~/.ssh/id_rsa.pub | ssh lestat@master 'cat >> .ssh/authorized_keys && echo "Key copied"'
在MBP上执行以下代码
cat ~/.ssh/id_rsa.pub | ssh parallels@slave1'cat >> .ssh/authorized_keys && echo "Key copied"'
cat ~/.ssh/id_rsa.pub | ssh lparallels@slave2 'cat >> .ssh/authorized_keys && echo "Key copied"'
测试
在MBP上登陆slave1虚拟机
lestat@Lestats-MBP:~$ ssh slave1
Last login: Sat Mar 23 21:51:15 2019
[parallels@slave1 ~]$
在slave1上登陆master (MBP)
[parallels@slave1 ~]$ ssh master
Last login: Sat Mar 23 21:25:13 2019 from 192.168.100.4
lestat@Lestats-MBP:~$
搞定！
