Druid架构分析

lambda架构

druid采用lambda架构,将实时数据和批处理数据解耦。

实时数据处理面向写多读少的优化,批处理数据部分面向读多写少的优化。

分布式结构“shared nothing”,各个节点都有自己的计算能力和存储能力,整个系统使用zookeeper进行协调,mysql存储元数据。

lambda架构:批处理层,服务层,速度层。

批处理层:如Hadoop,合理的批处理工具。

服务层:用于加载和实现数据库中的批处理视图,以便用户能查到。不一定需要随机写,但是支持批更新和随时读。

速度层:主要用来处理新数据和服务层更新造成的高延迟补偿,利用流处理工具和随机读写数据库来计算实时视图(Hbase),这些视图有效期一直到它们已经能通过批处理和服务层获得为止。

最后编辑于
©著作权归作者所有,转载或内容合作请联系作者
【社区内容提示】社区部分内容疑似由AI辅助生成,浏览时请结合常识与多方信息审慎甄别。
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

相关阅读更多精彩内容

友情链接更多精彩内容