Druid-Duid中Overlord Process

• 基于Apache-Druid-0.17.0

概述

• Overlord进程负责接受任务、协调任务分配、任务锁创建，并将状态返回给调用者。Overlord可以配置运行在两种模式之一-本地或远程(本地是默认)，druid.indexer.runner.type=remote。
• 在本地模式中，Overlord还负责为执行任务创建Peons(苦工)，当Overlord以本地模式运行时，必须提供所有的MiddleManager 和 Peon配置文件。Local Model用于simple workflows，在远程模式下remote mode下，Overlord 和 MiddleManager在单独的进程中运行，可以在不同的服务器上运行他们。如果打算使用索引服务作为所有Druid索引的唯一端点，建议使用remote mode。

workers黑名单

• 如果MiddleManager的任务失败次数超过某个阈值，Overlord会将MiddleManagers纳入黑名单，不超过20%的MiddleManagers会纳入黑名单中，被列入黑名单的MiddleManagers会定期列入白名单中。
• 以下变量可以设置阈值和黑名单超时：

druid.indexer.runner.maxRetriesBeforeBlacklist
druid.indexer.runner.workerBlackListBackoffTime
druid.indexer.runner.workerBlackListCleanupPeriod
druid.indexer.runner.maxPercentageBlacklistWorkers

自动调节 Autoscaling

• 当前的自动调节与集群部署基础设施紧密耦合，但是框架应该适合于其他实现。Druid对现有机制的新实现或扩展持高度开放的态度。如果在部署中，中介者进程是Amazon AWS EC2节点，它们被准备好在galaxy环境中注册。
• 如果开启了自动调节，则当任务处于挂起状态太长时间时，可能会添加新的MiddleManagers，MiddleManagers在一段时间内没有运行任何任务，他们可能会被终止。