1、ClickHouse发展历程及不适用场景
Mysql MyISAM - Metrage LSM、预聚合 - OLAPServer - Clickhouse
发展
不适用的场景：
- 不支持事务。
- 按行查询、删除。
2、核心特性
2.1 列式存储和数据压缩
- 数据按列进行组织，术语同一列的数据会被保存在一起。列与列之间也会由不同的文件分别保存。
- 数据默认使用LZ4算法压缩。
2.2 向量化执行引擎
- 向量化执行，可以简单地看做一项消除程序中循环执行的优化。
- 实现向量化执行需要利用CPU的SIMD指令。通过数据并行以提高性能的一种实现方式，在CPU寄存器层面实现数据的并行操作。
2.3 多样化的表引擎
- 将存储部分进行抽象，把存储引擎作为一层独立接口。
- 合并树、内存、文件等类型。
2.4 多线程与分布式
- SIMD不适合用于带有较多分支判断的场景，使用多线程技术提速。
- 在数据存取方面，既支持分区，也支持分片。
2.5 多主架构
- 集群中的每个节点角色对等，客户端访问任意一个节点都能得到相同效果。
2.6 数据分片与分布式查询。
- 每个集群由一到多个分片组成，每个分片对应了ClickHouse的1个服务节点。
- 分片的数量上限取决于节点数量。
- 提供本地表和分布式表概念。一张本地表等同于一份数据分片，分布式表本身不存储任何数据，它是本地表的访问代理。
3、架构设计
3.1 Column与Field
- 内存中的一列数据由一个Column对象表示。
- 如果需要操作单个具体数值则需要使用Field对象，Field对象代表一个单值。
3.2 DataType
- 负责数据序列化和反序列化。
- 不直接负责数据读取，转由Column或Field对象获取。
3.3 Block与Block流
- Clickhouse内部数据操作是面向Block对象进行的，采用流形式。
- Block对象本质是由数据对象、数据类型和列名组成的三元组。Column + DataType + 列名。
- Block没有直接聚合Column和DataType对象，通过ColumnWithTypeAndName对象进行间接引用。
- IBlockInputStream负责读取数据和关系运算，IBlockOutputStream负责将数据输出到下一环节。
核心模块
3.4 Table
- 直接使用IStorage接口指代数据表。
- IStorage接口定义了DDL、read和write方法。
- 查询时，IStorage负责根据AST查询语句的指示要求，返回指定列的原始数据。后续对数据的进一步加计算统一交由Interpreter解释器对象处理。
3.5 Parser与Interpreter
- Parser负责创建AST对象。将一条SQL执行语句以递归下降的方法解析成AST语法树的形式。
- Interpreter解释器负责解释AST并进一步创建查询执行管道。就像服务层一样，起到串联整个查询过程的作用。它会根据解释器类型聚合它所需要的资源，首先解析AST对象，执行业务逻辑，最终返回IBlock对象。
3.6 Functions与Aggregate Functions
- 普通函数由IFunction定义。
- 聚合函数由IAggregateFunction定义，聚合函数的状态支持序列化反序列化以实现在分布式节点间传输。
3.7 Cluster与Replication
- 集群由分片组成。分片由副本组成。
- 一个节点只能拥有一个分片。
- 分片知识一个逻辑概念，物理承载由副本承担。这个副本也不能理解成一份数据的副本，应该理解成一个数据存储的载体概念。
