本文基于hbase-1.3.0源码

1. 前言

本文主要介绍hbase里region server的创建和启动过程中所做的工作，是一个纯粹的记录性工作。

2. HRegionServer启动过程

HRegionServer和HMaster是hbase集群里两个主要角色，类HRegionServer带有main方法，可以通过命令行启动。main方法通过new HRegionServerCommandLine(regionServerClass).doMain(args); 首先创建HRegionServer实例，然后调用其start完成启动。此外还实现Runnable接口，start方法调用run运行HRegionServer。下面主要讲述调用构造函数的过程，以及run所做的工作。

2.1 HRegionServer的构造方法

构造方法原型如下:

public HRegionServer(Configuration conf, CoordinatedStateManager csm){...}
参数：

1. conf即配置信息, 即hbase-default.xml和hbase-site.xml内容

2. csm，分布式环境下用来协调集群所有server的状态信息的，可以看看CoordinatedStateManager的继承结构以及主要方法:

   CoordinatedStateManager 
           ^
           |
   BaseCoordinatedStateManager 
           ^
           |
   ZkCoordinatedStateManager
     
   下面是ZkCoordinatedStateManager的主要成员：
     protected ZooKeeperWatcher watcher;
     protected SplitTransactionCoordination splitTransactionCoordination;
     protected CloseRegionCoordination closeRegionCoordination;
     protected SplitLogWorkerCoordination splitLogWorkerCoordination;
     protected SplitLogManagerCoordination splitLogManagerCoordination;
     protected OpenRegionCoordination openRegionCoordination;
     protected RegionMergeCoordination regionMergeCoordination;
   

   主要是通过zookeeper来协调当前server上region的打开、关闭以及split或者merge等操作使得region状态发生改变, 以便让集群中其他的server包括master感知到当前server的状态。具体的原理将在region open 、close、split、merge原理里单独阐述。

2. HRegionServer启动的服务

2.1 接口RegionServerServices

HRegionServer实现了接口RegionServerServices，接口方法定义了HRegionServer提供的部分服务（功能）

1. WAL getWAL(HRegionInfo regionInfo) ， WAL（Write Ahead Log），一般一个regionserver只有一个wal。
2. CompactionRequestor getCompactionRequester(), 获得负责HFile的compact的线程，实际返回的实现类CompactSplitThread负责compact和split两项工作。
3. FlushRequestor getFlushRequester()，获得负责flush HMemStore的线程
4. TableLockManager getTableLockManager()，基于zk实现的分布式的锁管理器，用来锁表的
5. RegionServerQuotaManager getRegionServerQuotaManager()，资源配额管理器，可以基于user、table以及namespace粒度设置
6. Leases getLeases()，实现了基于租约的机制, 这个返回的是一个lease管理器。
7. ExecutorService getExecutorService()，ExecutorServices是一组线程池组成,这个不是jdk里的ExecutorService。HRegionServer上按照任务种类的不同（比如close region，split region等等）创建多个线程池（Executor）的封装，根据任务的种类将任务派发到不同的线程池执行。
8. Set<TableName> getOnlineTables()， 获取当前RegionSever上可用的table（RegionServer拥有的只是table的一个分片，即region）
9. registerService(Service service), 注册Endpoint类型的coprocessor。

2.1 构造函数中初始化服务

1. 创建Rpc服务 - RSRpcServices

   rpc服务，HBase的rpc服务借助了protobuf实现。RSRpcServices主要实现了两类rpc服务：

   • ClientService（定义在client.proto），主要client端的scan，put这种操作,还包括coprocessor操作
   • AdminService（定义在admin.proto），主要是region的操作(open, close, split, merge等)

2. 创建文件系统 - HFileSystem

   封装hadoop FileSystem, HFile、wal log等信息持久化在hdfs上

3. 创建htable meta信息的帮助类实例 - FSTableDescriptors

   从FileSystem中获取表的meta信息以及将meta信息写到FileSystem

4. 实例化 ExecutorService
   ExecutorService持有一系列根据名称划分的线程池，master和hregionserver启动的服务不一样，下面的枚举了各自的服务：

public enum ExecutorType {

// Master executor services
MASTER_CLOSE_REGION        (1),
MASTER_OPEN_REGION         (2),
MASTER_SERVER_OPERATIONS   (3),
MASTER_TABLE_OPERATIONS    (4),
MASTER_RS_SHUTDOWN         (5),
MASTER_META_SERVER_OPERATIONS (6),
M_LOG_REPLAY_OPS           (7),

// RegionServer executor services
RS_OPEN_REGION             (20),
RS_OPEN_ROOT               (21),
RS_OPEN_META               (22),
RS_CLOSE_REGION            (23),
RS_CLOSE_ROOT              (24),
RS_CLOSE_META              (25),
RS_PARALLEL_SEEK           (26),
RS_LOG_REPLAY_OPS          (27),
RS_REGION_REPLICA_FLUSH_OPS  (28),
RS_COMPACTED_FILES_DISCHARGER (29),
RS_OPEN_PRIORITY_REGION    (30);

ExecutorType(int value) {}

/**
 * @param serverName
 * @return Conflation of the executor type and the passed servername.
 */
String getExecutorName(String serverName) {
  return this.toString() + "-" + serverName.replace("%", "%%");
}
}

5. 初始化ZooKeeperWatcher，cluster环境下。诸如regionserver,metatable所在server地址，table lock，split/merge region等等信息都是通过zookeeper做全局状态协调的。

   很多信息保存在zookeeper上，比如master地址；正在运行的region servers；全局的分布式table lock实现；正在recovering状态的region servers等等

6. 调用putUpWebUI，通过jetty提供给用户通过web访问region server的方式

   1. master提供web服务的host、port分别由hbase.master.info.bindAddress，hbase.master.info.port，默认0.0.0.0:16010
   2. region server由hbase.regionserver.info.bindAddress, hbase.regionserver.info.port设置,默认0.0.0.0:16030

7. 创建LogRoller

   LogRoller负责当前RegionServer上所有的wal的roll。LogRoller周期性的（由配置erver.logroll.period决定周期，默认1小时）或者收到某个特定的wal log的roll request触发log roll。

8. 创建ChoreService

   ChoreService内部封装了scheduled executor线程池，负责周期性的调度一些任务，调度的对象需要实现接口ScheduleChore。其任务一般都是需要频繁执行且执行时间不长，例如：

   • 心跳检测

   • 已经compacted 的HFile的清理

   • 定期检查是否需要compact

   • 垃圾文件清理等琐碎而又频繁的任务

2.2 HRegionServer start

1. 调用preRegistrationInitialization在向HMaster注册（所谓注册并不是向HMaster发消息，而是在zookeeper的/hbase/rs路径下创建包含当前region server信息的节点，HMaster监听这个节点）之前完成一些初始化工作，主要包括：

   • 调用setupClusterConnection，创建ClusterConnection，这和client创建的到HRegionServer的connection是两个东西。ClusterConnection是HRegionServer到HRegionServer或者HMaster的访问

   • 健康检查，如果配置了健康检查(hbase.node.health.script.location配置不为空，)，将创建HealthCheckChore定期做健康检查，方式是执行location配置的位置的脚本来检查当前HRegionServer的健康状况。

   • 调用initializeZooKeeper,主要做两件事：

     1. 等待master起来，也就是监控zookeeper的/hbase/master节点(这个节点的位置由zookeeper.znode.master配置)有数据(这个节点的数据由master设置为自己的host:port)；

     2. 等待整个集群起来，默认监控/hbase/running节点(由zookeeper.znode.state配置)，这个节点由master收集到各个region server状态后设置成时间值。

   • 调用initializeThreads，会启动很多服务线程池，在HRegionServer和运行期间提供服务，主要有：

     1. MemStoreFlusher，负责刷新region的memstore，MemStroeFlusher内部持有一些FlushHandler(持续运行的线程，个数由配置hbase.hstore.flusher.count指定，默认2个)来完成region的memstore的flush。

     2. CompactSplitThread，在它内部创建四个线程池分别负责region的minor compact， major compact，split和merge。

        1. 一个RegionServer拥有的region上限由hbase.regionserver.regionSplitLimit指定，默认1000
        2. major compact 线程数量由base.regionserver.thread.compaction.large指定，默认1
        3. minor compact线程数量由hbase.regionserver.thread.compaction.small指定，默认1
        4. split的线程数量由hbase.regionserver.thread.split指定，默认1
        5. merge线程的数量由hbase.regionserver.thread.merge指定，默认1

     3. CompactionChecker，周期性（周期由base.server.thread.wakefrequency指定，默认10000ms）的检查所有region的所有HStore看看是否需要compaction，需要compact的将通知compactSplitThread完成。这是ScheduledChore的子类，因此会有ChoreService调度。

     4. PeriodicMemstoreFlusher，周期性检查所有region的所有HMemStore是否需要flush。需要通知MemStoreFlusher完成。该类也是ScheduledChore的子类。

     5. Leases，相当于租约管理器，管理所有租约（Lease）的申请、续租以及租约到期。Leases实现HasThread，是一个持续运行的daemon线程，其运行期间，检查所有lease，对于过期的lease，激活lease.getListener().leaseExpired()

     6. MovedRegionsCleaner, 清理已经移动到其他region server或者删除掉的不在属于当前region server管理的region。这也是一个ScheduledChore的子类

     7. RegionServerQuotaManager, 管理namespace，user，table粒度的quota。关于Quota的机制会在XXXX细讲。

     8. 创建RpcClient，默认创建org.apache.hadoop.hbase.ipc.RpcClientImpl这个，这是直接使用java nio实现，可以通过hbase.rpc.client.impl配置修改rpcclient。

     9. 创建StorefileRefresherChore，继承至ScheduledChore，负责当前HRegionServer里secondary region（replica id不为0）的HStore和primary region的同步的（primary region的write操作会导致hfile发生改变，secondary需要报primary保持同步）。同步周期由hbase.regionserver.storefile.refresh.period设置，0表示不同步。

     10. 调用registerConfigurationObservers，内部调用configurationManager

     的regist方法注册一些需要在配置发送动态修改时一并修改内部状态的服务，目前注册了CompactSplitThread，RSRpcServices以及HRegionServer，也就是说和这些服务相关的配置改变时，可以动态的感知。

2. 在zookeeper /hbase/rs路径（子路径rs由zookeeper.znode.rs设置）下创建当前regionserver名的节点,

3. 创建RegionServerCoprocessorHost，创建时会根据用户的配置文件选择加载的coprocessor，CoprocessorHost提供coprocessor的执行环境，除了RegionServerCoprocessorHost，还有RegionCoprocessorHost，WALCoprocessorHost，区别以及细节将在xxxx中详解。RegionServer这一级容许coprocessor在region merge以及region server关闭前后做一些工作。

   1. 这一级的coprocessor通过hbase.coprocessor.enabled启用；
   2. 配置hbase.coprocessor.regionserver.classes，设置为默认加载的coprocessor，使用，分割类。

4. 调用reportForDuty()通知master，region server启动成功

   1. 在成功返回后创建WALFactory实例，启动各种服务线程（前面提到的ExecutorService）、各种前面提到的chore service、集群间复制service（）堆内存管理器等等。
   2. 通过设置base.replication为true启动集群间wal log同步，默认为true。

以上，HRegiongServer完成启动。

​