参考说明：
1、基于Docker的Hadoop完全分布式安装
——使用docker拉取官方Ubuntu镜像，将单机安装好hadoop，然后做成image，再跑多个容器做集群。但有人建议不要把本地运行的容器转成镜像！
2、(1)使用docker安装分布式hadoop（阿里hadoop镜像）
——使用阿里hadoop镜像创建hadoop容器，分别创建三个节点master、slave1、slave2。容器内都是只有hadoop软件还没有配置。通过docker exec -it master bash分别进入三个节点进行配置：
1）查看jdk：java –version
2）配置ssh生成秘钥：a.启动ssh/etc/init.d/ssh start;b.生成秘钥ssh-keygen -t rsa
3）分别进入每个节点，将其他节点的公钥也都复制到authorized_keys，容器中的文件复制到centos本地，在本地对其进行整合，再将其传回容器
4）分别为每个节点配置ip地址（ip addr查看ip地址，vi /etc/hosts配置）
5）配置hadoop：a.配置hadoop-env.sh，配置jdk；b.配置core-site.xml，配置hdfs的地址和端口号；c.配置hdfs-site.xml ，配置hdfs备份数量，配置namenode和datanode的数据路径；d.配置 mapred-site.xml，指定MapReduce运行在yarn上,配置JobTracker的地址和端口；e.配置yarn-site.xml，配置hdfs备份数量；f.步骤a-e在master上配置完后，将core-site.xml hadoop-env.sh hdfs-site.xml mapred-site.xml yarn-site.xml 发送到slave1 和slave2节点
6）运行hadoop：a.在master节点的/etc/hadoop/slaves配置slaves；b.在master上格式化namenode；c.在master上启动集群；d.jps 查看进程；e.分别进入slave1查看进程
(2)docker安装分布式hadoop
——再整理sequenceiq/hadoop-docker创建分布式。与上面思路一样（同一人所写），只是使用的镜像不一样。
3、sequenceiq/hadoop-docker
——docker hub中的高赞单节点hadoop镜像（针对其有网友作出国内使用的几点更改：适合国内使用的修改，我直接使用国外的无恙）
运行指令如下：
docker pull sequenceiq/hadoop-docker:2.7.0
docker run -it sequenceiq/hadoop-docker:2.7.0 /etc/bootstrap.sh -bash
cd $HADOOP_PREFIX
bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.0.jar grep input output 'dfs[a-z.]+'
bin/hdfs dfs -cat output/*
改进：在docker使用hadoop提供的web管理系统界面，要将容器端口映射至宿主机
sudo docker run --name myhadoop -p 50070:50070 -p 8088:8088 -p 50075:50075 -it sequenceiq/hadoop-docker /etc/bootstrap.sh -bash报错如下：
systemctl restart docker再次重启运行镜像后，浏览器中
宿主机IP:端口(50070-Hadoop Namenode UI端口；50075- Hadoop Datanode UI端口；8088- Yarn任务监控端口)
4、基于Docker快速搭建多节点Hadoop集群
——自设计kiwenlau/hadoop:1.0镜像，关于此镜像的说明：
参考alvinhenrick/hadoop-mutinode项目，但优化了镜像大小、构造时间、镜像层数，默认启动3个节点的Hadoop集群，支持任意节点数的Hadoop集群，基于Ubuntu。github地址： kiwenlau/hadoop-cluster-docker
| 镜像名称 | 构建时间 | 镜像层数 | 镜像大小 |
|---|---|---|---|
| kiwenlau/serf-dnsmasq | 509.46s | 8 | 206.6 MB |
| kiwenlau/hadoop-base | 400.29s | 7 | 775.4 MB |
| kiwenlau/hadoop-master | 5.41s | 9 | 775.4 MB |
| kiwenlau/hadoop-slave | 2.41s | 8 | 775.4 MB |
| 镜像名称 | 镜像功能 |
|---|---|
| kiwenlau/serf-dnsmasq | ①基于ubuntu:15.04 （选它是因为它最小，不是因为它最新）②安装serf: serf是一个分布式的机器节点管理工具。它可以动态地发现所有Hadoop集群节点。③安装dnsmasq: dnsmasq作为轻量级的DNS服务器。它可以为Hadoop集群提供域名解析服务。 |
| kiwenlau/hadoop-base | ①基于serf-dnsmasq镜像 ②安装JDK（OpenJDK）③安装openssh-server，配置无密码SSH ④安装vim：介样就可以愉快地在容器中敲代码了⑤安装Hadoop 2.3.0: 安装编译过的Hadoop |
| kiwenlau/hadoop-master | ①基于hadoop-base镜像②配置hadoop的master节点③格式化namenode |
| kiwenlau/hadoop-slave | ①基于hadoop-base镜像②配置hadoop的slave节点 |
运行指令如下：
sudo docker pull kiwenlau/hadoop:1.0
git clone https://github.com/kiwenlau/hadoop-cluster-docker #克隆配置脚本
sudo docker network create --driver=bridge hadoop
#创建网桥——由于Hadoop的master节点需要与slave节点通信，需要在各个主机节点
#配置节点IP，为了不用每次启动都因为IP改变了而重新配置，在此配置一个Hadoop
#专用的网桥，配置之后各个容器的IP地址就能固定下来
cd hadoop-cluster-docker
sudo ./start-container.sh
此镜像有博主进行使用：Docker搭建Hadoop环境
