两台主机：spark0 ip:10.112.154.98 spark1 ip:10.112.203.31
镜像中已安装hadoop
将两个容器运行起来
docker run -it -h master --name master $image_name # 主节点
docker run -it -h slave01 --name slave01 $image_name # 从节点
利用weave将两容器联通
weave attach 192.168.0.2/24 $master_container_id
weave connect $ip # slave01主机ip
weave attach 192.168.0.2/24 $slave01_container_id
weave connect $ip # master主机ip
hadoop配置
打开hadoop_env.sh文件，修改JAVA_HOME：
#假设现在/usr/local/hadoop目录下
vim etc/hadoop/hadoop-env.sh
# 将export JAVA_HOME=${JAVA_HOME}替换成
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
打开core-site.xml，输入一下内容:
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/hadoop/tmp</value>
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
</configuration>
打开hdfs-site.xml输入以下内容:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop/namenode_dir</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/hadoop/datanode_dir</value>
</property>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
修改mapred-site.xml(复制mapred-site.xml.template,再修改文件名)，输入以下内容:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
修改yarn-site.xml文件，输入以下内容:
<configuration>
<!-- Site specific YARN configuration properties -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
</configuration>
修改/etc/hosts
192.168.0.2 master
192.168.0.3 slave01
开启hadoop
打开master上的slaves文件，输入slave的主机名:
vim etc/hadoop/slaves
# 将localhost替换成两个slave的主机名
slave01
在master终端上，首先进入/usr/local/hadoop，然后运行如下命令:
cd /usr/local/hadoop
bin/hdfs namenode -format
sbin/start-all.sh
这时Hadoop集群就已经开启，我们可以在master,slave01和slave02上分别运行命令jps查看运行结果;
下面是运行结果图:
运行Hadoop实例程序grep
在hdfs上创建一个目录:
./bin/hdfs dfs -mkdir -p /user/hadoop/input
将/usr/local/hadoop/etc/hadoop/目录下的所有文件拷贝到hdfs上的目录:
./bin/hdfs dfs -put ./etc/hadoop/*.xml /user/hadoop/input
通过ls命令查看下是否正确将文件上传到hdfs下:
./bin/hdfs dfs -ls /user/hadoop/input
通过运行下面命令执行实例程序:
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep /user/hadoop/input output 'dfs[a-z.]+'
在hdfs上的output目录下查看到运行结果:
./bin/hdfs dfs -cat output/*
1 dfsadmin
1 dfs.replication
1 dfs.namenode.name.dir
1 dfs.datanode.data.dir
