HBase 是一个没有单点故障的分布式系统，计算层和存储层都有各自的保障了服务的可用性。
HBase 容错
HMaster 容错
HMaster 可以配置HA，利用 Zookeeper 重新选择新的 HMaster，并且 HMaster 宕机的情况，数据仍然可以读取，但是无法进行负载均衡和 Region 切分等操作。
HRegionServer 容错
RegionServer 如果出现宕机，HMaster 会通过 Zookeeper 监听到，重新分配 RS 上的 Region，同时将宕机RS的 WAL 进行分割，有新的 RS 读取恢复数据。RS上的 Region 迁移的代价并不大，一般都在毫秒级别完成，所以对应用造成的影响也很有限。
Zookeeper 容错
作为协调者的 Zookeper 本身就是就是一个可靠的分布式服务，一般会配置3到5个实例。
HDFS 容错
底层存储依赖于 HDFS，数据对 HDFS 透明，设置有多副本冗余。HDFS 本身是稳定可靠的分布式存储系统。
HBase 高可用
HBase Replication 功能实现可以集群间的相互复制。提供集群级别的备份，可以用来支持异地容灾、线下数据分析等场景。
HBase Replication 的复制方式是 master-push 方式，即主集群推的方式。因为每个RS都拥有WAL， 很容易记录正在复制的位置。一个集群可以异步复制给多个从集群，这也意味着从集群和主集群的数据不是完全一致的，而是最终一致的。
Replication 总体架构
主集群的 Hlog 中记录了所有数据的的变更（DDL不支持同步），通过实时读取 HLog 来解析变更的数据然后发送到从集群中去（有一个线程处理）。需要注意的是，HBase Replication 是以 Column Family 为单位，每个CF都可以设置是否进行 Replication。
Zookeeper 的作用
HBase Replication 的状态都存储在 Zookeeper，默认存储到 /hbase/replication 节点，这个目录有两个子节点：peers、rs
/hbase/replication/peers
存储了所有的 replication peers（每个 peer 有一个唯一id，代表一个同步），还有他们的状态。
/hbase/replication/rs
rs node 包含了哪些WAL是需要复制的，包括：rs hostname，client port 和 start code，记录每次WAL复制的位置。
Replication 使用
- HBase 默认此特性是关闭的，需要所有参与集群进行设定并重启集群：
<property>
<name>hbase.replication</name>
<value>true</value>
</property>
除了开启功能，还可以配置 Replication 的相关配置，参考 http://hbase.apache.org/book.html
- 在源集群上和目标集群上都创建要同步的表：
> create 'replication_source_table', 'f1', 'f2' # 创建两个 Column family
- 在源集群的表上设置需要备份的CF：
> alter 'replication_source_table', {NAME=>'f1', REPLICATION_SCOPE=>'1'}
Updating all regions with the new schema...
0/1 regions updated.
1/1 regions updated.
Done.
- 设置目标集群，指明了目标集群的 Zookeeper 地址，Zookeeper 上路径：
> add_peer '1',"zk-host:2181:/hbase_backup"
- 查看目标集群是否已经被添加到了源集群的 Replication：
> list_peers
PEER_ID CLUSTER_KEY STATE TABLE_CFS
1 zk-host:2181:/hbase_backup ENABLED
测试
向源集群的表中插入、更新数据，观察目标集群上是否有数据生成。如果要停止对于某个集群的 Replication，可以执行 disable_peer，再次开启可使用 enable_peer 命令：
Examples:
hbase> disable_peer '1'
Examples:
hbase> enable_peer '1'
Replication 支持场景
- 主节点同名表同步到各从节点
- 主节点不同表同步到不同集群相应表
- 多个主节点表同步到一个从集群相应表
异常情况
HBase Replication 是通过 RegionServer 上的复制线程进行 HLog 的发送，如果某个 RegionServer 出现异常时，HBase 是如何处理的？
从集群上 RegionServer 异常
当从集群上某个 RegionServer 出现异常，该RS会被标记为异常状态，后续所有的更新都不会被发送到该RS，会重新选取一台RS来接收数据。
主集群上 RegionServer 异常
当主集群上某个 RegionServer 出现异常，属于该RS的 HLog 就没有被处理，其他RS会对异常RS在 Zookeeper 中的信息尝试加锁操作（互斥操作），只有一台RS能获取到锁，然后会把 HLog 信息拷贝到自己的目录下，这样就完成了异常RS的 HLog 信息的转移，通过新的RS把 HLog 的信息发送到从集群。
注意事项
- 不同 HBase 版本的复制命令可能不同
- 同步是针对配置后复制的新修改数据，旧数据需要手动迁移
- 不支持DDL同步，要在主从集群上同步创建或修改
Reference：
http://hbase.apache.org/book.html#_cluster_replication
https://blog.csdn.net/teriy/article/details/7954203
https://blog.csdn.net/shenliang1985/article/details/51420112
