Hadoop集群介绍
- Hadoop集群包括两个集群: HDFS集群,YARN集群
- 两个集群逻辑上分离,通常物理上在一起
- 两个集群都是标准的主从架构集群
- 逻辑上分离
两个集群之间没有依赖,互不影响- 物理上在一起
某些角色进程往往部署在同一台物理五服务器上- MapReduce集群
MapReduce集群是计算框架,代码层面的组件,没有集群之说
HDFS集群(分布式存储)
1.主角色: NameNode
2.从角色: DataNode
3.主角色辅助角色: SecondaryNameNode
YARN集群(资源管理,调度)
1.主角色: ResourceManager
2.从角色: NodeManager
HDFS集群、YARN集群
Hadoop集群简介
集群架构
集群部署方式
Hadoop部署方式分三种：
- standalone mode（独立模式）
独立模式又称为单机模式，仅1个机器运行1个java进程，主要用于调试。- Pseudo-Distributed mode（伪分布式模式）
伪分布模式也是在1个机器上运行HDFS的NameNode和DataNode、YARN的 ResourceManger和NodeManager，但分别启动单独的java进程，主要用于调试。Cluster mode（群集模式）
集群模式主要用于生产环境部署。会使用N台主机组成一个Hadoop集群。这种部署模式下，主节点和从节点会分开部署在不同的机器上。
三种部署方式
Hadoop源码编译
- 安装包、源码包下载地址
包- 为什么要重新编译Hadoop源码?
匹配不同操作系统本地库环境，Hadoop某些操作比如压缩、IO需要调用系统本地库(.so|.dll)
修改源码、重构源码- 如何编译Hadoop
源码包根目录下文件：BUILDING.txt
详细步骤参考附件资料- 提供编译好的Hadoop安装包私信我
hadoop-3.1.4-bin-snappy-CentOS7.tar.g
集群角色规划-Step1:集群角色规划
- 角色规划的准则
1.根据软件工作特性和服务器硬件资源情况合理分配
2.比如依赖内存工作的NameNode是不是部署在大内存机器上？角色规划注意事项
1.资源上有抢夺冲突的，尽量不要部署在一起
2.工作上需要互相配合的。尽量部署在一起
组件分配
集群安装-Step2:服务器基础环境准备
- 主机名(3台机器)
hostnamectl set-hostname 主机名
bash
主机名
- Host映射(3台机器)
vim /etc/hosts
Host映射
- 防火墙关闭(3台机器)
