最近实验室要搭一个高可用的Hadoop高可用集群，我先在虚拟机上搭了一个
| 软件 | 版本 |
|---|---|
| 1. OS: ubuntu server | 16.04 |
| 2. jdk | 1.7.80 |
| 3. Hadoop | 2.6.5 |
| 4. zookeeper | 3.4.6 |
| 5. mysql | 5.6 |
| 6. HBase | 1.2 |
| 7. Hive | 1.1.0 |
| 8. scala | 2.11.11 |
| 9. Spark | 1.6.3 |
| 10. Pig | 0.16.0 |
| 11. Kafka | 2.10-0.821 |
| 12. Storm | 1.1.1 |
| 13. REDIS | 3.0+ |
| ip | hostname | 安装的软件 |
|---|---|---|
| 10.0.2.5 | master1 | jdk/hadoop/hbase/spark/kafka |
| 10.0.2.6 | master2 | jdk/hadoop/hbase/spark/kafka |
| 10.0.2.7 | slave1 | jdk/zookeeper/hadoop/mysql/hbase/spark/kafka |
| 10.0.2.4 | slave2 | jdk/zookeeper/hadoop/mysql/hbase/spark/kafka |
| 10.0.2.9 | slave3 | jdk/zookeeper/hadoop/hbase/spark/kafka |
其中master1和master2作为hadoop集群的两个主节点
master1和master2也作为hbase的两个主节点
master1作为spark的主节点
slave1和slave2上安装mysql
slave1，slave2，slave3上安装zookeeper集群
hive、pig作为工具安装在任何机器上都可以
目录：
