一键部署Linux服务器
本来最近几天是要搞Gerapy的，奈何最近几天运气太好，好多以前苦苦都无法解决的课题，在网上都找到了解决方案。顺带学会了几个新玩具: expect、sed、awk。精通算不上，入个门玩玩还是挺有意思的。
配置文件的自动化编辑问题
首先是配置文件的自动化编辑。因为最近我的服务器总是删了再装，装了又删。所以就总是要手动去改配置文件，就搞得很恶心。本着解决问题，就要先解决最恶心的问题。不然解决的事情不痛不痒，浪费那闲工夫干嘛...
最先想到的是sed。前几天搞《Docker搭建Hadoop》出现过，用它编辑了CentOS软件包仓库。但是直接从网上找出来，复制粘贴就拿来用了。这货印象里总是和vim一起出现，目测不难。那就找找资料学一下。
豆瓣图书搜索sed，相关图书没几本，从上往下找，第一本是O'Reilly出版社的书《sed & awk》。这出版社挺有意思的，印象里封面用的全都是某种动物，而且书名一如既往的简短。找了一下中文版，粗读了一遍，没怎么读懂。就知道sed和awk都是用来处理文本文件的，awk强大得一批，居然是一种语言。卧槽，这玩意搞会了，自动化运维、自动化部署服务器，岂不是指日可待？果断放弃sed，去找了一下awk的资料。
这次直接读了《The GNU Awk User’s Guide》，GNU官方出的用户手册。读了大概两三个小时，基本上awk能干啥大概了解了:
- awk起源于sed和grep
- awk擅长数据统计
得出这么两个结论之后，觉得跟自己要解决的问题关系不大。既然awk是一门语言，想要编辑文本文件自然不在话下，但为了改一个文本文件，去写一个脚本，貌似没有这个必要，所以又折回来搞sed了...
MD，早知道，还浪费感情、花时间、弄一个用不上的技术。但是呢...当初学vim的时候，也是浪费感情、花时间、弄了一个用不上的sed。要是以前没研究过sed，这次搞sed也不会这么容易。嗯，多看点东西也不亏，兴许以后用得上呢。嗯，就是安慰安慰自己吧。
b站搜了一下sed，学了大概两三个小时，觉得这玩意不是跟vim正则替换差不多么？所以学习过程意外地顺利，起码正则表达式不用学了。(意外学了一下重定向，不过还是拿来就用的程度。就是——知道这条命令好用，但为啥好用？给我说一下呗？不好意思，不知道，解释不了...)。
# 配置hadoop-env.sh
sed 's@export JAVA_HOME=${JAVA_HOME}@export JAVA_HOME=/usr/local/jdk1.8.0_331@g' $HADOOP_HOME/etc/hadoop/hadoop-env.sh -i
# 配置core-site.xml
sed '/<configuration>/,/<\/configuration>/d' $HADOOP_HOME/etc/hadoop/core-site.xml -i
cat >> $HADOOP_HOME/etc/hadoop/core-site.xml << EOF
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.10.1/data</value>
</property>
</configuration>
EOF
自动化完成交互式命令
第一个问题解决了，本来想写个脚本记录一下，但总感觉这脚本写得不伦不类。这玩意我以后肯定嫌弃: 自动化完成了配置文件的编辑，但是其余软件的安装，还是得手动安装。就尝试写了个jdk、hadoop、hive的自动化部署脚本，发现了一个问题:
ssh-keygen、ssh-copy-id这种必须与控制台交互的命令，还是要手动敲。那就一个一个解决
ssh-keygen想要摆脱交互式比较简单，命令本身就支持
ssh-keygen -f /root/.ssh/id_rsa -t rsa -N ''
ssh-copy-id这玩意就比较麻烦了，本着拿来就用的原则，先找了sshpass。发现在进行ssh localhost免密登录时，第一次会弹出yes/no这种选项，所以还是需要交互式...
然后就找到了expect，学了一下，这工具挺强——在控制台出现了什么提示时，往里边敲什么都支持。有点类似程序设计语言里的if-elseif-else这种结构。
# 配置root密码
echo 'root' | passwd --stdin root
# 配置免密登录
ssh-keygen -f /root/.ssh/id_rsa -t rsa -N ''
/usr/bin/expect <<-END &>/dev/null
spawn ssh-copy-id localhost
expect {
"yes/no" { send "yes\r";exp_continue }
"password:" {send "root\r" }
}
expect eof
END
/usr/bin/expect <<-END &>/dev/null
spawn ssh-copy-id 0.0.0.0
expect {
"yes/no" { send "yes\r";exp_continue }
"password:" {send "root\r" }
}
expect eof
END
总结一下
一键部署Linux服务器脚本
运行脚本之后，如果用的是docker compose，可以用env_file，就不需要用脚本去配置环境变量了；但如果直接用Linux的话，需要手动source /etc/profile一下，才能hive。那就留个课题，以后再解决吧。目前已经把n条命令，优化成3条命令了...
# 1.
# 在`/root`目录下准备三个文件:
# - apache-hive-2.1.1-bin.tar.gz
# - hadoop-2.10.1.tar.gz
# - jdk-8u331-linux-x64.tar.gz
# 2.
# 将以下脚本保存为deploy.sh，键入以下命令等待安装、配置完成
# bash deploy.sh
# 3.
# 等待脚本全部执行结束以后，执行以下两条命令，进入hive
# source /etc/profile
# hive
# 系统配置
sed -i 's@mirrorlist@#mirrorlist@g' /etc/yum.repos.d/CentOS-*
sed -i 's@#baseurl=http://mirror.centos.org@baseurl=http://vault.centos.org@g' /etc/yum.repos.d/CentOS-*
# yum update -y
# yum grouplist
# yum groupinstall -y "Minimal Install"
yum install -y initscripts curl which tar sudo rsync openssh-server openssh-clients passwd vim expect
systemctl start sshd
# 配置root密码
echo 'root' | passwd --stdin root
# 配置免密登录
ssh-keygen -f /root/.ssh/id_rsa -t rsa -N ''
/usr/bin/expect <<-END &>/dev/null
spawn ssh-copy-id localhost
expect {
"yes/no" { send "yes\r";exp_continue }
"password:" {send "root\r" }
}
expect eof
END
/usr/bin/expect <<-END &>/dev/null
spawn ssh-copy-id 0.0.0.0
expect {
"yes/no" { send "yes\r";exp_continue }
"password:" {send "root\r" }
}
expect eof
END
# 设置变量
jdkCompressedArchive='jdk-8u331-linux-x64.tar.gz'
jdkFolder='jdk1.8.0_331'
hadoopCompressedArchive='hadoop-2.10.1.tar.gz'
hadoopFolder='hadoop-2.10.1'
hiveCompressedArchive='apache-hive-2.1.1-bin.tar.gz'
hiveFolder='apache-hive-2.1.1-bin'
# 解压软件
tar -zxvf /root/$jdkCompressedArchive -C /usr/local
tar -zxvf /root/$hadoopCompressedArchive -C /usr/local
tar -zxvf /root/$hiveCompressedArchive -C /usr/local
# 编辑环境变量
cat >> /etc/profile << EOF
# Java Development Kit Environment
export JAVA_HOME=/usr/local/$jdkFolder
export PATH=\$PATH:\$JAVA_HOME/bin
# Hadoop Environment
export HADOOP_CONF_DIR=/usr/local/$hadoopFolder/etc/hadoop
export HADOOP_HOME=/usr/local/$hadoopFolder
export PATH=\$PATH:\$HADOOP_HOME/bin:\$HADOOP_HOME/sbin
# Hive Environment
export HIVE_HOME=/usr/local/hiveFolder
export PATH=\$PATH:\$HIVE_HOME/bin
EOF
source /etc/profile
# 配置hadoop
sed 's@export JAVA_HOME=${JAVA_HOME}@export JAVA_HOME=/usr/local/jdk1.8.0_331@g' $HADOOP_HOME/etc/hadoop/hadoop-env.sh -i
sed '/<configuration>/,/<\/configuration>/d' $HADOOP_HOME/etc/hadoop/core-site.xml -i
cat >> $HADOOP_HOME/etc/hadoop/core-site.xml << EOF
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop-2.10.1/data</value>
</property>
</configuration>
EOF
sed '/<configuration>/,/<\/configuration>/d' $HADOOP_HOME/etc/hadoop/hdfs-site.xml -i
cat >> $HADOOP_HOME/etc/hadoop/hdfs-site.xml << EOF
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.name.secondary.http-address</name>
<value>localhost:50090</value>
</property>
</configuration>
EOF
# 格式化hdfs
hadoop namenode -format
# 启动hdfs
start-dfs.sh
# 配置hive
cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh
cat >> $HIVE_HOME/conf/hive-env.sh << EOF
export HIVE_CONF_DIR=$HIVE_HOME/conf
export JAVA_HOME=$JAVA_HOME
export HADOOP_HOME=$HADOOP_HOME
export HIVE_AUX_JARS_PATH=$HIVE_HOME/lib
EOF
cp $HIVE_HOME/conf/hive-default.xml.template $HIVE_HOME/conf/hive-site.xml
sed -i 's#${system:java\.io\.tmpdir}#/usr/local/hive/iotmp#g' $HIVE_HOME/conf/hive-site.xml
sed -i 's#${system:user\.name}#root#g' $HIVE_HOME/conf/hive-site.xml
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -mkdir -p /tmp/hive/
hdfs dfs -chmod 750 /user/hive/warehouse
hdfs dfs -chmod 777 /tmp/hive
schematool --initSchema -dbType derby
# sed -i '/cdef/r add.txt' input.txt
# expect
# spawn
# send
# timeout -1
# interact
