SPOF
- spof： single point of failure 即单点故障
任何只有一个节点的服务都会存在该问题
HDFS 写数据流程
1 client请求NN是否可以上传数据，nn根据请求校验集群信息及元数据信息，返回是否可以上传
- client根据Configuration配置信息，将文件切分，并向nn请求上传block1，
- nn根据请求计算各个dn距离client的网络距离和各个dn的状态（健康状态，活跃性，节点存储能力等）,返回给最合适的dn列表给client
机架感知策略：
网络拓扑距离： - client根据返回的dn列表，选择网络距离最近的dn建立pipeline输送管道 开始进行block的上传，上传方式为将block拆分为每个64k大小的package数据包进行发送，等待ack返回确认
- dn接收且保存下client发送的package数据包，并与下一个dn建立pipeline，将此数据包继续发送到下一个dn，下一个dn重复此动作，直到备份的dn全部接收完成，然后顺序返回ack确认
数据包带着各备份datanode的信息 - client接收到ack确认之后，继续上传下一个package，直到block1上传完毕
- client重复第二步开始进行下一个block的上传，直到文件上传完毕
- 整个文件上传完成后，client提交上传结果给nn，nn记录元数据信息
HDFS 读数据流程
- client请求NN下载数据，nn根据请求信息判断集群信息及元数据信息，返回该文件的元数据所有数据块地址列表
- client在一个数据块请求中启动多个线程 并发的进行数据块的read操作
- 将读到的文件写入本地的临时文件中
- client继续请求下一个数据块，重复第二步，知道文件块全部下载完成
- client处理合并本地临时文件成为一个整体文件
数据安全策略
- 元数据安全： secondarynamenode或standby 将内存中或edits文件中的数据同步到fsimage文件中
- 节点数据安全： 副本机制
- linux文件系统安全： 磁盘冗余阵列 raid
元数据管理
元数据类型:
- 命名空间的目录树结构
- 文件和数据块位置信息
- 从节点状态数据（健康，磁盘使用情况）
存储介质：
- 内存：内存元数据
- 磁盘：编辑日志edits和镜像文件fsimage
备份机制 checkpoint：
- 非高可用：由secondarynamenode定期（默认1小时，100万条record）执行checkpoint。新生成一个edits文件继续记录元数据变化，将原有的edits与fsimage复制后合并，生成新的fsimages文件，然后复制发送给namenode；
- 高可用：namenode将生成的编辑日志转储到journalnode集群上，再由备份节点的namenode将执行日志载入到自己的内存中，并生成新的fsimage
查看元数据：
- 查看镜像文件，oiv命令；查看编辑日志，oev命令
Federation 联盟机制
- 场景： 集群中所有的从节点都可以扩展，但是主节点却难以扩展，联邦机制即可以用来实现主节点的扩展
- 概念：hadoop 2.X 新增机制,两个活跃的namenode公享一个集群从节点进行负载均衡一起工作
- 特点：联盟机制不能与HA机制共存，如果非要共存，构建多个nameservice（即每个namenode维护自己的nameservice）
- 区分：通过/nameservice/clusterID/blockPoolID区分从节点上的某个块属于哪个集群
容灾机制与负载均衡
- 容灾机制： 故障转移 主备机制 HA高可用
- 负载均衡： 避免热点问题 默认10%的差异值：
- 均衡策略： 轮询策略，权重策略，随机策略
Safemode 安全模式
- 概念：
hdfs集群的一种状态，防止数据块丢失的一种保护机制； - 何时会发生：
- 集群启动时会进入安全模式，此时nn等待所有dn的汇报，与元数据进行比较，来校验数据是否丢失及恢复
- 当发现数据丢失时，当前所有存在的块/元数据中记录的块 <= 99.9%，会停留在安全模式，实现数据恢复， 直到大于99.9%，会自动退出
- 手动进入，用于hdfs集群的升级和维护
- 安全模式的特征：
- 安全模式下 不允许写入，只允许读，可以通过客户端强制离开安全模式
集群的动态扩容和缩容
- 动态扩容
增加从节点，可加入白名单，然后启动该节点，启动负载均衡 - 动态缩容
下线从节点，需要加入黑名单，然后刷新节点信息，启动负载均衡
脑裂现象
- 概念：网络或节点信息不可靠造成的误报信息，导致产生集群无主或集群多主的现象
隔离机制
- 概念：为了避免脑裂机制的产生，需要设置namenode的隔离机制，即当备份节点需要转换为主节点时，会通过ssh免密登录到上个active节点上，杀死或许存在的namenode进程；
HA高可用
- 概念：通过备份名称节点，达到避免namenode节点单点故障的问题；
- 实现：
如何通过主备切换： 利用zk的分布式锁，通知机制，节点类型和hadoop的zkfc进程
如何进行数据同步： 利用journalnode编辑日志edits文件共享集群
相关端口
8020 hdfs节点通讯端口
50070 hdfs页面访问端口
8485 journalnode通讯端口
