Trino · datalake · 架构设计1

一、背景

 本文介绍学习Presto/Trino权威指南中的架构相关的信息 。这里深挖相关概念,如查询执行模型、查询计划、基于成本的优化,本章首先讨论高层架构组件。理解Presto工作方式非常重要,尤其当你想自己安装和维护集群。

二、协调节点和计算节点

  集群中协调节点和计算节点可以部署在一台机器上,当然考虑到可扩展性和性能,这种部署方式是不合适的。Presto是类似于MPP数据库的分布式查询引擎。不仅仅支持垂直服务方式运行,同时支持水平方式进行处理,这意味可以通过增加节点来提升处理能力。Presto用户通过客户端,如JDBC方式或Presto CLI,来连接协调节点。协调节点管理计算节点来访问数据源。

图1 架构

1. 协调节点处理查询和管理计算节点执行查询。

2.发现服务运行在协调节点上,计算节点通过注册的方式加入集群。

3.所有的通讯和数据传输是基于HTTP/HTTPS的REST方式。

图2 协调节点和计算节点通讯

协调节点分配计算任务给计算节点,更新状态,获取上层结果并返回给用户。计算节点获取基于上游任务的数据流,同时计算节点从数据源获取数据。

三、参考

信息来源:《Presto The Definitive Guide》

本文信息只用于学习和交流,严谨用于其他途径。

©著作权归作者所有,转载或内容合作请联系作者
平台声明:文章内容(如有图片或视频亦包括在内)由作者上传并发布,文章内容仅代表作者本人观点,简书系信息发布平台,仅提供信息存储服务。

推荐阅读更多精彩内容