一、说明
梧桐数据库是一款分布式数据库,它支持多种存储格式,包括ROW、ORC、Hudi和MagmaAP。这些存储格式中,ROW是按行存储的格式,而ORC、Hudi和MagmaAP则是按行列存储的格式。在创建表时,用户可以根据需求选择不同的存储格式,例如创建一个默认的ORC表或显式指定为ROW存储格式的表。此外,梧桐数据库还支持创建S3内表,并且提供了基于Hash的分布和Random分布两种数据分布方式。MagmaAP格式的表在创建时默认使用Hash分布,并且支持索引。
二、每种表格式的区别和创建方式
1.ROW格式
这是一种按行存储的格式,适合于需要频繁进行行级更新或删除操作的场景。ROW格式的表不支持索引,但在梧桐数据库中,它支持存储压缩,如SNAPPY和ZLIB,以优化存储空间的使用。
创建row格式的表
CREATE TABLE rank2 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = row);
创建snappy压缩格式的row表
CREATE TABLE rank3 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = row, compresstype = snappy);
2.ORC格式
是一种列式存储格式,它在存储效率和查询性能之间提供了良好的平衡。ORC格式支持多种压缩算法,如LZ4、SNAPPY、ZSTD和ZLIB,适用于OLAP(在线分析处理)场景,可以显著提高数据扫描和查询的速度。
默认创建orc
CREATE TABLE rank1 (
id int,
rank int,
year smallint,
gender char(1),
count int
);
指定创建orc表
CREATE TABLE rank4 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = orc);
创建带压缩的orc表
CREATE TABLE rank5 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = orc, compresstype = lz4);
3.Hudi格式
Apache Hudi是一种支持插入和更新操作的存储格式,它允许用户在保持数据文件不可变的同时进行数据的实时更新。Hudi格式的表适用于需要高吞吐量数据摄入和更新的场景,同时支持数据的快速查询。
创建hudi表
CREATE TABLE rank6 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = horc, type = mor);
创建带压缩的hudi表
CREATE TABLE rank7 (
id int,
rank int,
year smallint,
gender char(1),
count int
) WITH (appendonly = true, orientation = horc, type = mor, compresstype = lz4);
4.MagmaAP格式
这是一种梧桐数据库特有的存储格式,它支持行存储和列存储的混合模式,并且内部自动实现了数据压缩。MagmaAP格式的表支持主键索引,适合于需要高并发写入和复杂查询的场景。
创建带压缩的magma表
CREATE TABLE rank8 (
id int,
rank int,
year smallint,
gender char(1),
count int
) FORMAT 'magmaap';
注:在表的存储模型方面,WuTongDB提供了丰富的选项,例如可以创建snappy压缩的ROW表或不压缩的ORC表。同时,用户还可以创建带有primary key的MagmaAP表,这种表内部自动实现了压缩。WuTongDB的表存储模型支持多种特性,如行/列存储、存储格式、是否支持新执行器、压缩支持、是否支持UPDATE/DELETE操作以及是否支持索引等。
三、表格式区别对比
特性 ROW ORC Hudi MAGMAAP
行/列存储 行 行列混存 行列混存 行列混存
存储格式 自定义存储格式 兼容标准 ORC 格式 兼容 Apache Hudi 表格式 自定义存储格式
是否支持新执行器 不支持 支持 支持 支持
压缩 支持snappy , zlib 支持lz4 , snappy , zstd , zlib 支持lz4 , snappy , zstd , zlib 自动选择压缩算法,不需要用户指定
UPDATE / DELTE 支持 支持 支持 支持
INDEX 不支持 不支持 不支持 支持