RocketMQ系列(二)：nameServer

nameServer是什么

nameServer负责rocketMq的路由管理、服务管理、服务发现。

重点：

nameServer整体构建设计
nameServer动态路由发现与剔除机制

nameServer整体构建设计

RocketMQ.png

nameServer启动流程

step1: 首先解析配置文件。填充NameServerConfig、NettyServerConfig属性值。
包括：端口号，目录路径，netty线程池个数，消息请求并发度。等等等等。
step2: 根据启动属性，创建NamesrvController实例，并初始化该实例。NameServerController为nameServer的核心控制器。
NameServerController里面有一个nettyServer和两个定时任务。
nettyServer负责与broker、生产者、消费者进行网络通信。
定时任务1：每隔10s扫描一次broker，移除死亡状态broker。
定时任务2：每隔10分钟打印一次KV配置。

路由注册

路由元信息

来看一下NameServer中到底存了哪些信息

/**
* key 为 topic
* topic 消息队列路由信息，消息发送时根据路由进行负载均衡
*/
private final HashMap<String, List<QueueData>> topicQueueTable;

/**
* key 为 brokerName
* broker基础信息，包含brokerName、所属集群名称、主备broker地址
*/
private final HashMap<String, BrokerData> brokerAddrTable;

/**
* key 为 cluserName
* broker集群信息，存储集群中所有broker名称
*/
private final HashMap<String, Set<String>> clusterAddrName;

/**
* key 为 brokerAddr
* broker状态信息，nameServer每次收到一台broker的心跳包后会更新该信息
*/
private final HashMap<String, BrokerLiveInfo> brokerLiveTable;

/**
* key 为 brokerAddr
* broker上filterServer列表，用于消息过滤
*/
private final HashMap<String, List<String>> filterServerTable;

路由元信息.png

同一个集群，2主2从部署：

集群部署.png

Broker部署相对复杂，Broker分为Master与Slave，一个Master可以对应多个Slave，但是一个Slave只能对应一个Master，Master与Slave的对应关系通过指定相同的BrokerName，不同的BrokerId来定义，BrokerId为0表示Master，非0表示Slave。Master也可以部署多个。每个Broker与Name Server集群中的所有节点建立长连接，定时注册Topic信息到所有Name Server。

对应运行时的数据：

{
    "topicQueueTable":{
        "topic1":[
            {
            "brokerName":"broker-a",
            "readQueueNums":4,
            "writeQueueNums":4,
            "perm":6, // 读写权限
            "topicSynFlag":0 // topic同步标记
            },
            {
            "brokerName":"broker-b",
            "readQueueNums":4,
            "writeQueueNums":4,
            "perm":6, // 读写权限
            "topicSynFlag":0 // topic同步标记
            }
        ],
        "topic2":[]
    }
}

{
    "brokerAddrTable": {
        "broker-a": {
            "cluster":"c1",
            "brokerName":"broker-a",
            "brokerAddrs":{
                "0":"192.168.56.1:10000",
                "1":"192.168.56.2:10000"
    
            }
        },
        "broker-b": {
            "cluster":"c1",
            "brokerName":"broker-b",
            "brokerAddrs":{
                "0":"192.168.56.3:10000",
                "1":"192.168.56.4:10000"
    
            }
        }
    }
}

{
    "clusterAddrName":{
        "c1":[
            "broker-a",
            "broker-b"
        ]
    }
}

{
    "brokerLiveTable":{
        "192.168.56.1:10000": {
            "lastUpdateTimestamp":12412,
            "dataVersion":"versionOb1",
            "channel":"channelObj",
            "haServerAddr":"192.168.56.2:10000"
        },
        "192.168.56.2:10000": {
        },
        "192.168.56.3:10000": {
        },
        "192.168.56.4:10000": {
        }
    }
}

路由注册

rocketMq的路由注册是通过broker与NameServer的心跳功能实现的。broker启动的时候，向集群中的所有nameServer发送心跳语句，每隔30s向集群中的所有nameServer发送心跳。
nameServer收到心跳包时会更新brokerLiveTable缓存中的lastUpdateTimestamp。然后nameServer每10秒扫描一次brokerLiveTable，如果连续120s没有收到心跳包，nameServer将移除该Broker的路由信息，同时关闭netty socket连接。

nameServer与broker保持长连接。在操作路由表的时候（修改topicQueueTable、brokerAddrTable、brokerLiveTable）使用读写锁，来保证并发下的一致性。