一、xsync集群分发脚本
需求
循环复制文件到所有节点的相同目录下
分析
- rsync命令原始拷贝：
rsync -av /opt/module root@hadoop102:/opt/
- 期望脚本:期望脚本xsync要同步的文件名称
- 说明：在/home/yobhel/bin这个目录下存放的脚本，yobhel用户可以在系统任何地方直接执行。
实现
- 在用的家目录/home/yobhel下创建bin文件夹
[yobhel@hadoop101 ~]$ mkdir bin
- 在/home/yobhel/bin目录下创建xsync文件，以便全局调用
[yobhel@hadoop101 ~]$ cd /home/yobhel/bin
[yobhel@hadoop101 ~]$ vim xsync
在该文件中编写如下代码
#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop101 hadoop102 hadoop103
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done
- 修改脚本xsync具有执行权限
[yobhel@hadoop101 bin]$ chmod +x xsync
- 测试脚本
[yobhel@hadoop101 bin]$ xsync xsync
二、Hadoop群起脚本
[yobhel@hadoop101 bin]$ pwd
/home/yobhel/bin
[yobhel@hadoop101 bin]$ vim hdp.sh
输入如下内容：
#!/bin/bash
if [ $# -lt 1 ]
then
echo "No Args Input..."
exit ;
fi
case $1 in
"start")
echo " =================== 启动 hadoop集群 ==================="
echo " --------------- 启动 hdfs ---------------"
ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
echo " --------------- 启动 yarn ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
echo " --------------- 启动 historyserver ---------------"
ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver"
;;
"stop")
echo " =================== 关闭 hadoop集群 ==================="
echo " --------------- 关闭 historyserver ---------------"
ssh hadoop101 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
echo " --------------- 关闭 yarn ---------------"
ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
echo " --------------- 关闭 hdfs ---------------"
ssh hadoop101 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh"
;;
*)
echo "Input Args Error..."
;;
esac
[yobhel@hadoop101 bin]$ chmod 777 hdp.sh
三、ZK集群启动停止脚本
1）在hadoop101的/home/yobhel/bin目录下创建脚本
[yobhel@hadoop101 bin]$ vim zk.sh
在脚本中编写如下内容
#!/bin/bash
case $1 in
"start"){
for i in hadoop101 hadoop102 hadoop103
do
echo ---------- zookeeper $i 启动 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh start"
done
};;
"stop"){
for i in hadoop101 hadoop102 hadoop103
do
echo ---------- zookeeper $i 停止 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh stop"
done
};;
"status"){
for i in hadoop101 hadoop102 hadoop103
do
echo ---------- zookeeper $i 状态 ------------
ssh $i "/opt/module/zookeeper-3.5.7/bin/zkServer.sh status"
done
};;
esac
2）增加脚本执行权限
[yobhel@hadoop101 bin]$ chmod +x zk.sh
3）Zookeeper集群启动脚本
[yobhel@hadoop101 module]$ zk.sh start
4）Zookeeper集群停止脚本
[yobhel@hadoop101 module]$ zk.sh stop
3.kafka集群启停脚本
1）在/home/yobhel/bin目录下创建文件kf.sh脚本文件
[yobhel@hadoop101 bin]$ vim kf.sh
脚本如下：
#! /bin/bash
case $1 in
"start"){
for i in hadoop101 hadoop102 hadoop103
do
echo " --------启动 $i Kafka-------"
ssh $i "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties"
done
};;
"stop"){
for i in hadoop101 hadoop102 hadoop103
do
echo " --------停止 $i Kafka-------"
ssh $i "/opt/module/kafka/bin/kafka-server-stop.sh "
done
};;
esac
2）添加执行权限
[yobhel@hadoop101 bin]$ chmod +x kf.sh
3）启动集群命令
[yobhel@hadoop101 ~]$ kf.sh start
4）停止集群命令
[yobhel@hadoop101 ~]$ kf.sh stop
注意：停止Kafka集群时，一定要等Kafka所有节点进程全部停止后再停止Zookeeper集群。因为Zookeeper集群当中记录着Kafka集群相关信息，Zookeeper集群一旦先停止，Kafka集群就没有办法再获取停止进程的信息，只能手动杀死Kafka进程了。
