Hadoop的分布式环境中数据节点越多,集群的处理能力越强, 所有我们经常需要给集群添加新的数据节点.
系统
首先我们需要给先的电脑装上linux系统, 我们的集群装的是CentOS7的系统, 要注意的是语言要选择English, 时区也要和其他的电脑选择一致, 打开网络连接等
配置
新装完系统的电脑上, 要装一些插件像, vim, wget等
-
yum install -y vim wget net-tools装插件 -
ifconfig查看自己网络的ip地址, 如果这个命令不可以用则换一个命令ip addr -
vim /etc/hostname修改自己名字(修改为自己容易记的名字,便于识别) -
ssh-keygen -t rsa配置ssh,一直回车 -
vim .ssh/authorized_keys配置ssh免密登录(注意 要想免密登录谁, 需要把它对应的.ssh
下的id_rsa.pub内容复制到免密登录服务器的authorized_keys文件内) -
known_hosts这个文件在.ssh文件夹内是自动生成的, 如果报错可以删掉, 让它重新自动生成
namenode
需要在hadoop安装包下的/etc/hadoop/slaves 添加新节点的名字
需要在电脑的/etc/hosts下添加节点ip和名字
重启
新配置好的节点如果想要不重启整个集群, 可以单独启动服务
hadoop-daemon.sh start Datanode
hadoop-daemon.sh start NodeManager
未完待续
