DBLE 2.17.08.1与MyCat 1.6.5的启动过程(1)——概述

概述


DBLE在启动时,由作为入口的com.actiontech.dble.DbleServerStartup.main()控制,依次调用com.actiontech.dble.DbleServer的以下函数,来完成整个启动过程。这与MyCat的行为相仿。

com.actiontech.dble.DbleServer()
com.actiontech.dble.DbleServer.beforeStart()
com.actiontech.dble.DbleServer.startup()

无论是MyCat的MycatServer,还是DBLE的DbleServerXXXServer这个类并没有自己的线程。完成上面的函数之后,主线程离开DbleServer的相关函数,并完全交出CPU控制权,后续将由持有子线程的其他模块来驱动程序运作。

换句话说,DbleServer是把各个功能模块封装起来的逻辑盒子,它主要的工作就是初始化和启动DBLE的各种功能模块。

第一阶段:com.actiontech.dble.DbleServer()


DBLE在全局公用类的设计上,继承了MyCat的做法,大量使用单实例设计模式(Singleton)。DbleServer本身是单实例设计,其中还包含了大量非传递(non-transitivity)成员变量,并以此来实现其他一些类(或者说是功能模块)的单实例设计。

DbleServer()的主要工作就是对非传递成员变量进行赋值:

  1. 读取配置文件
private final ServerConfig config;
// ...
this.config = new ServerConfig();
  1. 创建定时任务的计时线程池
private final ScheduledExecutorService scheduler;
// ...
scheduler = Executors.newSingleThreadScheduledExecutor(new ThreadFactoryBuilder().setNameFormat("TimerScheduler-%d").build());
  1. 设置服务上线标识
private final AtomicBoolean isOnline;
// ...
this.isOnline = new AtomicBoolean(true);
  1. 创建缓存服务
private final CacheService cacheService;
// ...
cacheService = new CacheService(config.getSystem().isLowerCaseTableNames());
  1. 创建路由服务
private final RouteService routerService;
// ...
routerService = new RouteService(cacheService);
  1. 记录启动时间
private final long startupTime;
// ...
this.startupTime = TimeUtil.currentTimeMillis();
  1. 创建会话XA检查服务

这是MyCat没有,DBLE特有的功能组件。原理上是提供commitSessionrollbackSession这两个map,和它们的commit/rollback状态检查,来协助实现XA中的全局事务管理器概念。

虽然没有进行final修饰,但是它是实例私有(private),也没有提供setter,而且DbleServer中没有更改过它的对象引用,所以也可以认为它是单实例模式的设计。

private XASessionCheck xaSessionCheck;
// ...
xaSessionCheck = new XASessionCheck();
  1. 创建序列号发生器
 private final SequenceHandler sequenceHandler;
 // ...
 sequenceHandler = initSequenceHandler(config.getSystem().getSequnceHandlerType());

MycatServer相比,DbleServer在这个阶段(MycatServer的实例化过程中),并不实例化DynaClassLoader(catlet加载器)和SQLInterceptor(SQL解析器,封装了druid)。这是因为DbleServer从设计上就移除了这两个成员,是设计上的显著不同。

第二阶段:com.actiontech.dble.DbleServer.beforeStart()


和MyCat一样,beforeStart()仅仅调用SystemConfig.getHomePath(),这是一个只读不写的静态方法,所以并不会引起任何变化。

public void beforeStart() {
    SystemConfig.getHomePath();
}

另外,com.actiontech.dble.DbleServerStartup.main()在实例化DbleServer之前也调用同一方法,用来确认DBLE_HOME。

所以,从功能上来看这个步骤是没有意义的一步。MyCat和DBLE都没有移除它,可能是想保留一个扩展点吧。

第三阶段:com.actiontech.dble.DbleServer.startup()


该阶段主要是创建了使外部能够访问和利用DBLE的协作类:业务前端SocketAcceptor server、管理前端SocketAcceptor manager和处理器组NIOProcessor processors[]

但是,从最终效果来说,其实这些类的实例化与初始化工作前移到DbleServer的实例化阶段(启动的第一阶段)也没有问题(reload操作针对的是ServerConfig)。将这些类的初始化和启动混放在本阶段,各阶段间的逻辑区分不太清晰,应该是来自MyCat的的历史包袱。

  1. 创建备份时用的业务阻塞锁

这是MyCat所不具备的特性,这个特性对于集群备份非常必要。

private AtomicBoolean backupLocked;
// ...
backupLocked = new AtomicBoolean(false);
  1. 创建业务端口(TCP 8066)的聆听器
ServerConnectionFactory sf = new ServerConnectionFactory();
SocketAcceptor server = null;
// ...
server = new NIOAcceptor(DirectByteBufferPool.LOCAL_BUF_THREAD_PREX + NAME + "Server", system.getBindIp(),
        system.getServerPort(), system.getServerBacklog(), sf, reactorPool);
// ...
server.start();
  1. 创建管理端口(TCP 9066)的聆听器
ManagerConnectionFactory mf = new ManagerConnectionFactory();
SocketAcceptor manager = null;
// ...
manager = new NIOAcceptor(DirectByteBufferPool.LOCAL_BUF_THREAD_PREX + NAME + "Manager", system.getBindIp(),
        system.getManagerPort(), 100, mf, reactorPool);
// ...
manager.start();
  1. 分配内存缓冲池
int bufferPoolPageSize = system.getBufferPoolPageSize();
// total page number
short bufferPoolPageNumber = system.getBufferPoolPageNumber();
//minimum allocation unit
short bufferPoolChunkSize = system.getBufferPoolChunkSize();
totalNetWorkBufferSize = bufferPoolPageSize * bufferPoolPageNumber;
if (totalNetWorkBufferSize > Platform.getMaxDirectMemory()) {
    LOGGER.error("Direct BufferPool size lager than MaxDirectMemory");
    throw new IOException("Direct BufferPool size lager than MaxDirectMemory");
}
bufferPool = new DirectByteBufferPool(bufferPoolPageSize, bufferPoolChunkSize, bufferPoolPageNumber);
  1. 分配用于跨节点结果整合/排序/分组/分页用的堆外内存
if (system.getUseOffHeapForMerge() == 1) {
    try {
        serverMemory = new SeverMemory(system, totalNetWorkBufferSize);
    } catch (NoSuchFieldException e) {
        LOGGER.error("NoSuchFieldException", e);
    } catch (IllegalAccessException e) {
        LOGGER.error("Error", e);
    }
}
  1. 创建业务处理池
int threadPoolSize = system.getProcessorExecutor();
// ...
businessExecutor = ExecutorUtil.createFixed("BusinessExecutor", threadPoolSize);
  1. 创建复杂查询处理池
int threadPoolSize = system.getProcessorExecutor();
// ...
complexQueryExecutor = ExecutorUtil.createCached("complexQueryExecutor", threadPoolSize);
  1. 创建定时任务处理池
timerExecutor = ExecutorUtil.createFixed("Timer", 1);
  1. 将内存缓冲池和业务处理池组合成一个抽象对象,处理器
int processorCount = system.getProcessors();
processors = new NIOProcessor[processorCount];
// ...
for (int i = 0; i < processors.length; i++) {
    processors[i] = new NIOProcessor("Processor" + i, bufferPool, businessExecutor);
}
  1. 创建交易语句记录器
if (config.getSystem().getRecordTxn() == 1) {
    txnLogProcessor = new TxnLogProcessor(bufferPool);
    txnLogProcessor.setName("TxnLogProcessor");
    txnLogProcessor.start();
}
  1. 创建互斥元数据管理器
tmManager = new ProxyMetaManager();
if (!this.getConfig().isDataHostWithoutWR()) {
    //init tmManager
    try {
        tmManager.init(this.getConfig());
    } catch (Exception e) {
        throw new IOException(e);
    }
}
  1. 进行XA的crash recovery
performXARecoveryLog();
  1. 注册定时任务
long dataNodeIdleCheckPeriod = system.getDataNodeIdleCheckPeriod();
scheduler.scheduleAtFixedRate(updateTime(), 0L, TIME_UPDATE_PERIOD, TimeUnit.MILLISECONDS);
scheduler.scheduleWithFixedDelay(processorCheck(), 0L, system.getProcessorCheckPeriod(), TimeUnit.MILLISECONDS);
scheduler.scheduleAtFixedRate(dataNodeConHeartBeatCheck(dataNodeIdleCheckPeriod), 0L, dataNodeIdleCheckPeriod, TimeUnit.MILLISECONDS);
//dataHost heartBeat  will be influence by dataHostWithoutWR
scheduler.scheduleAtFixedRate(dataNodeHeartbeat(), 0L, system.getDataNodeHeartbeatPeriod(), TimeUnit.MILLISECONDS);
scheduler.scheduleAtFixedRate(dataSourceOldConsClear(), 0L, DEFAULT_OLD_CONNECTION_CLEAR_PERIOD, TimeUnit.MILLISECONDS);
scheduler.scheduleWithFixedDelay(xaSessionCheck(), 0L, system.getXaSessionCheckPeriod(), TimeUnit.MILLISECONDS);
scheduler.scheduleWithFixedDelay(xaLogClean(), 0L, system.getXaLogCleanPeriod(), TimeUnit.MILLISECONDS);
scheduler.scheduleWithFixedDelay(resultSetMapClear(), 0L, system.getClearBigSqLResultSetMapMs(), TimeUnit.MILLISECONDS);
if (system.getUseSqlStat() == 1) {
    //sql record detail timing clean
    scheduler.scheduleWithFixedDelay(recycleSqlStat(), 0L, DEFAULT_SQL_STAT_RECYCLE_PERIOD, TimeUnit.MILLISECONDS);
}

if (system.getUseGlobleTableCheck() == 1) {    // will be influence by dataHostWithoutWR
    scheduler.scheduleWithFixedDelay(globalTableConsistencyCheck(), 0L, system.getGlableTableCheckPeriod(), TimeUnit.MILLISECONDS);
}
  1. 初始化到数据库的连接
if (!this.getConfig().isDataHostWithoutWR()) {
    // init datahost
    // connect to Databases using conf settings
    Map<String, PhysicalDBPool> dataHosts = this.getConfig().getDataHosts();
    LOGGER.info("Initialize dataHost ...");
    for (PhysicalDBPool node : dataHosts.values()) {
        String index = dnIndexProperties.getProperty(node.getHostName(), "0");
        if (!"0".equals(index)) {
            LOGGER.info("init datahost: " + node.getHostName() + "  to use datasource index:" + index);
        }
        int activeIndex = node.init(Integer.parseInt(index));
        saveDataHostIndex(node.getHostName(), activeIndex);
        node.startHeartbeat();
    }
}
最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 203,362评论 5 477
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 85,330评论 2 381
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 150,247评论 0 337
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 54,560评论 1 273
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 63,580评论 5 365
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 48,569评论 1 281
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 37,929评论 3 395
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 36,587评论 0 258
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 40,840评论 1 297
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,596评论 2 321
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,678评论 1 329
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 33,366评论 4 318
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 38,945评论 3 307
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,929评论 0 19
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,165评论 1 259
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 43,271评论 2 349
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 42,403评论 2 342

推荐阅读更多精彩内容