使用 Shell 脚本进行 Hadoop Spark 集群的批量安装

虽然有一些自动化安装的工具，但是功能越多，越专业的工具，可能也需要越高的学习成本，而我们并非专业运维，但是又必须做这些事情的话，不妨选择用 Shell 脚本来完成集群的安装。

当然了，现在也有很多使用 docker 的做法，安装与部署也非常方便。

整个过程其实很简单，就是对安装过程中的一些手动操作使用 Shell 脚本进行替代。对脚本比较熟悉的话，应该很容易看懂。推荐一个网站，explainshell, 输入 Shell 命令，它会对命令的各部分进行详细的解释。

以下内容虽在 Ubuntu 16.04 试用过，但有些细节可能由于时间因素，难免会有偏差。如有问题，欢迎指正。

其他系统要安装的话可适当参照，步骤上大致相同，只是有些细节需要针对性调整。在所有安装步骤中，最重要的一步是配置 SSH 无密码登录。如果不明白脚本的内容，不要使用我的安装脚本，明白可以抽取部分自用。

对安装过程不太熟的话，建议先跟着厦门大学的教程做：Spark2.1.0入门：Spark的安装和使用，里面涉及了 Hadoop 与 Spark 等各种软件的安装，十分详细，对新手很友好。只有对手动安装的整个过程了然于心，自动化安装才能得心应手。

为了避免因为用户权限要求输入密码的麻烦，以下所有操作均在 root 用户 ，全新系统环境下执行。

以下所涉及的所有脚本我都已经放到了 GitHub 上，点击这里查看，距离脚本写完已经有一段时间，懒得对代码结构进行优化了:)。如果对某个脚本有疑问，可以自行单独拿出来，在本地进行测试与验证。

另外，集群的安装基本上都差不多，这里是陈天奇在 EC2 上安装 yarn 集群的脚本：https://github.com/tqchen/yarn-ec2 ，有兴趣可以看一下。

用到主要工具有 rsync 和 expect, rsync 用于同步文件，expect 用于处理需要手动输入的情况。

1. 安装必要的软件

比如 Java，openssh-server，expect（用于自动处理一些交互, 只在
Master 节点上安装即可），vim 等。在 Master 和 Slave 都要安装这些软件，可以将在配置好 ssh 无密码登录后，将安装脚本同步到各 Slave 进行安装。

基本的软件安装

pre-install.sh:

#!/usr/bin/env bash

# 安装 Vim8，方便修改配置文件
apt install software-properties-common
add-apt-repository ppa:jonathonf/vim
apt update
apt install vim

# 安装 git, expect, openssh-server
apt install git expect openssh-server

# Install Java8
apt install openjdk-8-jre openjdk-8-jdk

# Set JAVA_HOME
JAVA_PATH=$(update-alternatives --list java)
JAVA_HOME=${JAVA_PATH%/jre/bin*}
echo "export JAVA_HOME=$JAVA_HOME" >> "$HOME/.bashrc"

安装 Hadoop

安装 Hadoop, 大致为 wget 下载 Hadoop，然后解压到 /usr/local/hadoop。install-hadoop.sh:

#!/usr/bin/env bash

HADOOP_DOWNLOAD_URL=https://mirrors.cnnic.cn/apache/hadoop/common/stable/hadoop-2.7.3.tar.gz
HADOOP_TAR_GZ=${HADOOP_DOWNLOAD_URL##*/} # hadoop-2.7.3.tar.gz
HADOOP_VER=${HADOOP_TAR_GZ%%.tar.gz}     # hadoop-2.7.3


if [ ! -d /usr/local/hadoop ]; then
    [ ! -f /tmp/$HADOOP_TAR_GZ ] && wget -P /tmp --no-check-certificate $HADOOP_DOWNLOAD_URL
    tar -zxf /tmp/$HADOOP_TAR_GZ -C /usr/local
    mv /usr/local/$HADOOP_VER /usr/local/hadoop
else
    echo ">>>> /usr/local/hadoop already exists."
fi


[ -z "${HADOOP_HOME}" ] && echo "export HADOOP_HOME=/usr/local/hadoop" >> "$HOME/.bashrc"
[ -z "${HADOOP_COMMON_LIB_NATIVE_DIR}" ] && echo "export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native" >> "$HOME/.bashrc"


# Set JAVA_HOME in hadoop-env.sh
JAVA_PATH=$(update-alternatives --list java)
JAVA_HOME=${JAVA_PATH%/jre/bin*}
HADOOP_ENV=/usr/local/hadoop/etc/hadoop/hadoop-env.sh
[ -f $HADOOP_ENV ] && echo "export JAVA_HOME=$JAVA_HOME" >> "$HADOOP_ENV"

安装 Spark

安装 Spark，步骤类似，先下载再解压到指定目录，install-spark.sh:

#!/usr/bin/env bash

SPARK_DOWNLOAD_URL=https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz
SPARK_TGZ=${SPARK_DOWNLOAD_URL##*/} # spark-2.2.0-bin-hadoop2.7.tgz
SPARK_VER=${SPARK_TGZ%%.tgz}        # spark-2.2.0-bin-hadoop2.7

if [ ! -d /usr/local/spark ]; then
    [ ! -f /tmp/$SPARK_TGZ ] && wget -P /tmp --no-check-certificate $SPARK_DOWNLOAD_URL
    tar -zxf /tmp/$SPARK_TGZ -C /usr/local
    mv /usr/local/$SPARK_VER /usr/local/spark
else
    echo ">>>> /usr/local/spark already exists."
fi

安装 HBase

安装 HBase，install-hbase.sh:

#!/usr/bin/env bash

HBASE_DOWNLOAD_URL=http://apache.mirror.vexxhost.com/hbase/stable/hbase-1.2.6-bin.tar.gz
HBASE_TAR_GZ=${HBASE_DOWNLOAD_URL##*/} # hbase-1.2.6-bin.tar.gz
HBASE_VER=${HBASE_TAR_GZ%%-bin.tar.gz} # hbase-1.2.6

if [ ! -d /usr/local/hbase ]; then
    [ ! -f /tmp/$HBASE_TAR_GZ ] && wget -P /tmp --no-check-certificate $HBASE_DOWNLOAD_URL
    tar -zxf /tmp/$HBASE_TAR_GZ -C /usr/local
    mv /usr/local/$HBASE_VER /usr/local/hbase
else
    echo ">>>> /usr/local/hbase already exists."
fi

2. 配置 Master 节点可以无密码 SSH 登陆各个 Slave 节点

这一步非常重要，如果 Master 无法无密码 SSH 登录 Slave，下面进一步的修改 hostname，hosts 等也就无法自动完成了。关于 SSH 登录的原理，可以查看 SSH原理与运用（一）：远程登录。

配置 Master 无密码 SSH 登录 Slave，主要分为两步：

在 Master 节点上使用 ssh-keygen 生成无密码的密钥对，主要是 id_rsa 与 id_rsa.pub 两个文件。

默认情况下，/root/.ssh 不存在。

由于在操作过程中，可能会需要输入一些信息，我们使用 expect 来完成这些信息的自动输入。可自行了解 expect 的更多内容。

# Generate pubkey in remote host
# Usage: generate_pub user host password
generate_pub() {
    local username=$1
    local host=$2
    local password=$3

    expect << EOF
spawn ssh $username@$host "mkdir -p ~/.ssh; cd ~/.ssh; rm ./id_rsa*; ssh-keygen -t rsa"
while 1 {
    expect {
        "*assword:"                            { send "$password\n" }
        "yes/no*"                              { send "yes\n"       }
        "Enter file in which to save the key*" { send "\n"          }
        "Enter passphrase*"                    { send "\n"          }
        "Enter same passphrase again:"         { send "\n"          }
        "Overwrite (y/n)"                      { send "y\n"         }
        eof                                    { exit               }
    }
}
EOF
}

将生成的公钥文件 id_rsa.pub 拷贝到每个 Slave 节点的 ~/.ssh/authorized_keys. authorized_keys 默认不存在，需要自行创建。

# Append id_rsa.pub to authorized_keys in remote host
# Usage: append_pub user host password
append_pub() {
    src_pub="$(cat /tmp/id_rsa.pub)"

    local username=$1
    local host=$2
    local password=$3

    expect << EOF
spawn ssh $username@$host "mkdir -p ~/.ssh; echo $src_pub >> ~/.ssh/authorized_keys; chmod 600 ~/.ssh/authorized_keys"
expect {
    "*assword:" { send "$password\n"; exp_continue }
    "yes/no*"   { send "yes\n"      ; exp_continue }
    eof         { exit                             }
}
EOF
}

整个 ssh 无密码登录的内容在 ssh-auto-login.sh 中, slaves.txt 文件放的是 Slave 的 IP 地址，一行一个。

3. 批量修改 Slave hostname 和 hosts

主要是修改两个文件：/etc/hostname 和 /etc/hosts。将 Slave 的 IP 和 hostname 信息存到文件中备用，比如 ip_hostname.txt 和 slaves.txt。实际上只要一个文件 ip_hostname.txt 就够了，目的就是为了提供 Slave 主机的信息而已。

hostname

为方便起见，集群中每台机器的 /etc/hostname 都不同，并用 Master，Slave1，Slave2 等进行对 hostname 进行命名，即在每台机器上的 /etc/hostname 分别写入 Master，Slave1，Slave2 等。

以 Master 为例，在 Ubuntu 16.04 下，/etc/hostname 默认为空，直接使用命令 echo "Master" > /etc/hostname 即可。由于 Slave 节点可能很多，我们用脚本来完成。先准备一个包含 Slave IP 与 hostname 的文件，比如，叫做 ip_hostname.txt, 里面内容如下, 每一行是 IP:hostname：

172.109.109.123:Slave1
172.109.109.124:Slave2

由于已经配置好 SSH 无密码登录，所以直接使用 SSH 远程执行命令即可。

#!/usr/bin/env bash

# ip_hostname.txt:
# ip:hostname
for line in $(cat ip_hostname.txt); do
    ip=${line%%:*}
    hostname=${line##*:}
    ssh "root@$ip" "echo "$hostname" > /etc/hostname"
done

hosts

hosts 比较简单，在 Master 上修改完 /etc/hosts，随后直接复制到其他 Slave 节点。将 ip_hostname.txt 里面的内容附加到 /etc/hosts 尾部，再加上一个 Master 节点的 IP 与 hostname 即可。

#!/usr/bin/env bash

# ip_hostname.txt:
# ip:hostname
for line in $(cat ip_hostname.txt); do
    ip=${line%%:*}
    hostname=${line##*:}
    echo "$ip    $hostname" >> /etc/hosts
done

MASTER="MASTER IP"
HOSTANME="Master"
echo  "$MASTER    $HOSTANME" >> /etc/hosts

echo "/etc/hosts has been upadted!"

4. 复制 Master 节点上 /usr/local/hadoop 等目录到 Slave 节点

我们打算将 Hadoop，Spark 安装在 /usr/local 目录下，也就是 /usr/local/hadoop /usr/local/spark 。上面的工作完成后，就可以将 Master 节点下面这些目录复制到各个 Slave 节点。使用 rsync 工具来同步目录。

slaves.txt 里面的内容为各 Slave 的 hostname :

Slave1
Slave2

#!/usr/bin/env bash

DIR='/usr/local/hadoop /usr/local/spark /usr/local/hbase'

for slave in $(cat slaves.txt); do
    rsync -avz $HOME/.bashrc   "root@$slave":$HOME/.bashrc
    rsync -avz $HOME/bin       "root@$slave":$HOME
    rsync -avz /etc/hosts      "root@$slave":/etc

    for dir in $DIR; do
        rsync -avz $dir "root@$slave":/usr/local
    done
done

5. 同步 hadoop/spark 的配置目录

同步完 Hadoop 和 Spark 完整的目录后，我们还需要对 Hadoop 进行一些配置，比如要进行完全分布式的配置，修改 hdfs-site.xml 等等文件。配置完成后，对这些配置目录也进行同步，比如 Hadoop 下面的 etc ，Spark 与 HBase 下面的 conf 目录。具体配置哪些文件, 修改哪些内容可参看上面的厦门大学安装教程。

#!/usr/bin/env bash

DIR='/usr/local/hadoop/etc /usr/local/spark/conf /usr/local/hbase/conf'

for slave in $(cat slaves.txt); do
    rsync -avz $HOME/.bashrc   "root@$slave":$HOME/.bashrc
    rsync -avz $HOME/bin       "root@$slave":$HOME
    rsync -avz /etc/hosts      "root@$slave":/etc

    for dir in $DIR; do
        rsync -avz $dir "root@$slave":/usr/local
    done
done

到这里就差不多了。一两台机器完全可以手动安装，稍微多点的话，写个脚本也还是十分有用的。本文涉及的安装文件已经放在了 GitHub：cluster-auto-installer .

最后编辑于：2017.12.09 17:22:57

人面猴
序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
沈念sama阅读 204,293评论 6赞 478
死咒
序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
沈念sama阅读 85,604评论 2赞 381
救了他两次的神仙让他今天三更去死
文/潘晓璐我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
开封第一讲书人阅读 150,958评论 0赞 337
道士缉凶录：失踪的卖姜人
文/不坏的土叔我叫张陵，是天一观的道长。经常有香客问我，道长，这世上最难降的妖魔是什么？我笑而不...
开封第一讲书人阅读 54,729评论 1赞 277
港岛之恋（遗憾婚礼）
正文为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
茶点故事阅读 63,719评论 5赞 366
恶毒庶女顶嫁案：这布局不是一般人想出来的
文/花漫我一把揭开白布。她就那样静静地躺着，像睡着了一般。火红的嫁衣衬着肌肤如雪。梳的纹丝不乱的头发上，一...
开封第一讲书人阅读 48,630评论 1赞 281
城市分裂传说
那天，我揣着相机与录音，去河边找鬼。笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。我是一名探鬼主播，决...
沈念sama阅读 38,000评论 3赞 397
双鸳鸯连环套：你想象不到人心有多黑
文/苍兰香墨我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
开封第一讲书人阅读 36,665评论 0赞 258
万荣杀人案实录
序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
沈念sama阅读 40,909评论 1赞 299
护林员之死
正文独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋以下内容为张勋视角年9月15日...
茶点故事阅读 35,646评论 2赞 321
白月光启示录
正文我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
茶点故事阅读 37,726评论 1赞 330
活死人
序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
沈念sama阅读 33,400评论 4赞 321
日本核电站爆炸内幕
正文年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
茶点故事阅读 38,986评论 3赞 307
男人毒药：我在死后第九天来索命
文/蒙蒙一、第九天我趴在偏房一处隐蔽的房顶上张望。院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
开封第一讲书人阅读 29,959评论 0赞 19
一桩弑父案，背后竟有这般阴谋
文/苍兰香墨我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。一阵脚步声响...
开封第一讲书人阅读 31,197评论 1赞 260
情欲美人皮
我被黑心中介骗来泰国打工，没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。一个月前我还...
沈念sama阅读 44,996评论 2赞 349
代替公主和亲
正文我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
茶点故事阅读 42,481评论 2赞 342