Docker+Hadoop构建伪集群

目的：
利用docker容器构建3台虚拟主机，一台为管理节点两台为数据节点以此来构建hadoop伪集群，三台虚拟主机之间使用SSH进行连接

因此整体思路为安装Centos镜像，为镜像安装SSH，Hadoop，Java，根据镜像创建三个容器，这样每个容器其实就相当于一台运行着Centos的主机，选择一个为管理节点配置Hadoop

文章很长，请耐心阅读

操作系统Centos7，安装时最好选择安装GNOME桌面

下载Docker CE^[1]
删除旧版本

$ sudo yum remove docker \
                  docker-client \
                  docker-client-latest \
                  docker-common \
                  docker-latest \
                  docker-latest-logrotate \
                  docker-logrotate \
                  docker-selinux \
                  docker-engine-selinux \
                  docker-engine

配置Docker仓库

$ sudo yum install -y yum-utils \
  device-mapper-persistent-data \
  lvm2

$ sudo yum-config-manager \
    --add-repo \
    https://download.docker.com/linux/centos/docker-ce.repo

安装Docker CE

$ sudo yum install docker-ce

启动Docker CE

$ sudo systemctl enable docker
$ sudo systemctl start docker

为Docker创建新的工作组

$ sudo usermod -aG docker $USER

切换至root用户

$ ru test

测试Docker是否正常工作

$ docker run hello-world

Hello World

$ docker images

docker images

拉取Centos镜像

$ docker pull centos
$ docker images

拉取的镜像

centos

为拉取的镜像安装SSH

$ mkdir DockerFile
$ cd DockerFile
$ mkdir CentOS7_SSH
$ cd CentOS7_SSH
$ vi Dockerfile

Dockerfile

FROM centos

MAINTAINER codingstory
#安装SSH
RUN yum install -y openssh-server sudo

RUN sed -i 's/UsePAM yes/UsePAM no/g' /etc/ssh/sshd_config
RUN yum install -y openssh-clients

#添加用户名为hadoop用户密码为hadoop的用户
RUN useradd hadoop
RUN echo "hadoop:hadoop" | chpasswd

#提升hadoop用户的权限
RUN echo "hadoop   ALL=(ALL)     ALL" >> /etc/sudoers
RUN ssh-keygen -t dsa -f /etc/ssh/ssh_host_dsa_key
RUN ssh-keygen -t rsa -f /etc/ssh/ssh_host_rsa_key

#开启SSH服务端口为22
RUN mkdir /var/run/sshd

EXPOSE 22
CMD ["/usr/sbin/sshd", "-D"]

安装

$ docker build -t centos7_ssh .

安装过程中会出现红色警报可以不用管

centos7_ssh

有了centos7_hadoop镜像

构建网络环境

$ docker network create -d bridge hadoop-network
$ docker network ls

network

测试SSH功能
建立一个容器(此时的容器已经有操作系统和网路了相当于一台虚拟主机了)

$ docker run --network=hadoop-network -itd --name=hadoop_ssh
centos7_ssh
$ docker network inspect hadoop-network

容器已经有IP地址了

测试SSH连接

$ ssh 172.18.0.2 -l hadoop

ssh连接

解释一下命令的含义172.18.0.2代表了我们刚刚创建的容器(虚拟主机)的IP地址，hadoop代表了我们要连接到容器(虚拟主机)中名为hadoop的用户

SSH连接测试成功后，要为镜像安装Hadoop和Java
进入到DockerFile文件夹中建立一个新的文件夹

$ mkdir CentOS7_Hadoop
$ cd CentOS7_Hadoop
$ vi Dockerfile

Dockerfile

FROM centos7_ssh
#解压下载的java文件
ADD jdk-8u191-linux-x64.tar.gz /usr/local/
# 更改文件夹名字
RUN mv /usr/local/jdk1.8.0_191 /usr/local/jdk1.8
ENV JAVA_HOME /usr/local/jdk1.8
ENV PATH $JAVA_HOME/bin:$PATH
# 解压下载的Hadoop文件
ADD hadoop-2.8.5.tar.gz /usr/local
RUN mv /usr/local/hadoop-2.8.5 /usr/local/hadoop
ENV HADOOP_HOME /usr/local/hadoop
ENV PATH $HADOOP_HOME/bin:$PATH

RUN yum install -y which sudo

进入Hadoop官网下载hadoop-2.8.5.tar.gz的二进制文件
进入Java官网下载Linux x64 jdk-8u191-linux-x64.tar.gz

把下载的文件放入DockerFile/CentOS7_Hadoop目录下

安装Hadoop、Java

执行Dockerfile

$ docker build -t centos7_hadoop .

安装Hadoop、Java

$ docker images

有了centos_hadoop镜像

现在我们的镜像已经安装了SSH、Hadoop、Java
再根据镜像创建三个容器

$ docker run --network hadoop-network --name hadoop1 --hostname hadoop1 -d -P centos7_hadoop
$ docker run --network hadoop-network --name hadoop2 --hostname hadoop2 -d -P centos7_hadoop
$ docker run --network hadoop-network --name hadoop0 --hostname hadoop0 -d -P -p 50070:50070 -p 8088:8088 centos7_hadoop

对于hadoop0来说，我们希望它能作为管理员，因此把它的端口50070和8088映射到我们自己的主机中

三个容器

打开三个命令行分别进入三个容器

$ docker exec -it hadoop0 /bin/bash
$ docker exec -it hadoop1 /bin/bash
$ docker exec -it hadoop2 /bin/bash

可以看到命令行顶部已经改变，分别为hadoop0、hadoop1、hadoop2

在三个命令行中全部切换为hadoop用户

$ su hadoop

都生成用于SSH连接的公钥和私钥

$ ssh-keygen

都将自己的公钥复制给其它容器

$ ssh-copy-id -i ~/.ssh/id_rsa -p 22 hadoop@hadoop0
$ ssh-copy-id -i ~/.ssh/id_rsa -p 22 hadoop@hadoop1
$ ssh-copy-id -i ~/.ssh/id_rsa -p 22 hadoop@hadoop2

这样我们就可以不需要密码就可以访问其它容器，假设我们现在处于hadoop0容器
我们可以使用

$ ssh -p '22' 'hadoop@hadoop2'

访问hadoop2容器
访问之前

访问之前

访问之后

下面进行Hadoop的配置
进入hadoop0容器

$ sudo vi /usr/local/hadoop/etc/hadoop/core-site.xml

将下面的代码configuration部分复制到core-site.xml文件中的configuration部分

<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://hadoop0:9000</value>
    </property>
    <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/${user.name}/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>hadoop.proxyuser.hduser.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hduser.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
</configuration>

$ sudo vi /usr/local/hadoop/etc/hadoop/hdfs-site.xml

将下面的代码configuration部分复制到hdfs-site.xml文件中的configuration部分

<configuration>
<property>
  <name>dfs.namenode.name.dir</name>
  <value>file:/usr/local/hadoop/hdfs/name</value>
</property>
<property>
  <name>dfs.datanode.data.dir</name>
  <value>file:/usr/local/hadoop/hdfs/data</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>2</value>
</property>
<property>
  <name>dfs.namenode.secondary.http-address</name>
  <value>hadoop0:9001</value>
</property>
<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>
</configuration>

切入到hadoop目录下

 $ cd /usr/local/hadoop/etc/hadoop
 $ sudo cp mapred-site.xml.template mapred-site.xml

将下面的代码configuration部分复制到mapred-site.xml文件中的configuration部分

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
<property>
  <name>mapreduce.jobhistory.address</name>
  <value>hadoop0:10020</value>
</property>
<property>
  <name>mapreduce.jobhistory.webapp.address</name>
  <value>hadoop0:19888</value>
</property>

</configuration>

$ sudo vi yarn-site.xml

将下面的代码configuration部分复制到yarn-site.xml文件中的configuration部分

<configuration>

<!-- Site specific YARN configuration properties -->
 <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop0:8032</value>
    </property>
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop0:8030</value>
    </property>
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop0:8031</value>
    </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop0:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop0:8088</value>
    </property>

</configuration>

$ sudo vi slaves

删除原来的内容加入

hadoop1
hadoop2

查看JAVA_HOME路径

$ echo $JAVA_HOME

$ sudo vi hadoop-env.sh

找到

export JAVA_HOME=${JAVA_HOME}

将其更改为JAVA_HOME路径，例如

export JAVA_HOME=/usr/local/jdk1.8

现在将修改过后的hadoop文件发送给hadoop1和hadoop2容器^[2]

$ sudo scp -r /usr/local/hadoop hadoop@hadoop1:/tmp
$ sudo scp -r /usr/local/hadoop hadoop@hadoop1:/tmp

进入hadoop1和hadoop2删除原来的hadoop文件

$ rm -rf /usr/local/hadoop

从/tmp文件夹将hadoop复制到/usr/local/hadoop里面

$ sudo cp -rf /tmp/hadoop /usr/local/hadoop

三个容器中都要增加Hadoop环境变量

$ sudo vi ~/.bashrc

增加环境变量

export PATH=$PATH:/usr/local/hadoop/bin:/usr/local/hadoop/sbin

执行以下命令，使刚添加的环境变量有效

$ source ~/.bashrc

这样配置就完成了

下面开始启动Hadoop
进入hadoop0容器

$ hdfs namenode -format -force

会出现下面这样的结果

启动

三个容器中都要提升hadoop对hadoop文件夹权限^[3]:

$ sudo chown -R hadoop /usr/local/hadoop/

之后在hadoop0容器中运行

$ start-dfs.sh

运行成功示例

$ start-yarn.sh

运行成功示例

$ mr-jobhistory-daemon.sh start historyserver

状态成功示例

检查启动状态

$ hadoop dfsadmin -report

状态成功示例

打开http://localhost:50070和http://localhost:8088查看是否正确

http://localhost:50070

http://localhost:8088

创建一个文件试试

$ hdfs dfs -mkdir -p /home/hadoop/input

文件创建成功

至此就完成了Docker+Hadoop构建的伪集群