Apache Doris 1.2.2 Release 版本正式发布

亲爱的社区小伙伴们,我们很高兴地宣布,Apache Doris 于 2023 年 2 月 15 日迎来 1.2.2 Release 版本的正式发布!在新版本中,Apache Doris 团队修复了自 1.2.1 版本发布以来超过 200 个问题或性能改进项。同时,1.2.2 版本作为 1.2 LTS 的迭代版本,具备更高的稳定性,建议用户升级到这个版本

GitHub下载:https://github.com/apache/doris/releases/tag/1.2.2-rc01

官网下载页:https://doris.apache.org/zh-CN/download

New Feature

数据湖分析

支持自动同步 Hive Metastore 元数据信息。 默认情况下外部数据源的元数据变更,如创建或删除表、加减列等操作不会同步给 Doris,用户需要使用 REFRESH CATALOG 命令手动刷新元数据。在 1.2.2 版本中支持自动刷新 Hive Metastore 元数据信息,通过让 FE 节点定时读取 HMS 的 notification event 来感知 Hive 表元数据的变更情况。参考文档:https://doris.apache.org/docs/dev/lakehouse/multi-catalog/

支持读取 Iceberg Snapshot 以及查询 Snapshot 历史。  在执行 Iceberg 数据写入时,每一次写操作都会产生一个新的快照。默认情况下通过 Apache Doris 读取 Iceberg 表仅会读取最新版本的快照。在 1.2.2 版本中可以使用 FOR TIME AS OF 和 FOR VERSION AS OF 语句,根据快照 ID 或者快照产生的时间读取历史版本的数据,也可以使用 iceberg_meta 表函数查询指定表的快照信息。参考文档:https://doris.apache.org/docs/dev/lakehouse/multi-catalog/iceberg

JDBC Catalog 支持 PostgreSQL、Clickhouse、Oracle、SQLServer。

JDBC Catalog 支持 insert into 操作。 在 Doris 中建立 JDBC Catalog 后,可以通过 insert into 语句直接写入数据,也可以将 Doris 执行完查询之后的结果写入 JDBC Catalog,或者是从一个 JDBC 外表将数据导入另一个 JDBC 外表。参考文档:https://doris.apache.org/docs/dev/lakehouse/multi-catalog/jdbc/

自动分桶推算

支持通过 DISTRIBUTED BY HASH(……) BUCKETS AUTO 语句设置自动分桶,系统帮助用户设定以及伸缩不同分区的分桶数,使分桶数保持在一个相对合适的范围内。参考文档:https://mp.weixin.qq.com/s/DSyZGJtjQZUYUsvfK0IcCg

新增函数

增加归类分析函数 width_bucket 。参考文档:https://doris.apache.org/zh-CN/docs/dev/sql-manual/sql-functions/width-bucket/#description

Behavior Changes

默认情况下禁用 BE 的 Page Cache

关闭此配置以优化内存使用并降低内存 OOM 的风险,但有可能增加一些小查询的查询延迟。如果您对查询延迟敏感,或者具有高并发小查询场景,可以配置 disable_storage_page_cache=false 以再次启用 Page Cache。

增加新 Session 变量 group_by_and_having_use_alias_first

用于控制 group by 和 having 语句是否优先使用列的别名,而非从 From 语句里寻找列的名字,默认为false。

Improvement

Compaction 优化

支持 Vetical Compaction。在过去版本中,宽列场景 Compaction 往往会带来大量的内存开销。在 1.2.2 版本中,Vertical Compaction 采用了按列组的方式进行数据合并,单次合并只需要加载部分列的数据,能够极大减少合并过程中的内存占用。在实际测试中,Vertical compaction 使用内存仅为原有 compaction 算法的 1/10,同时 Compaction 速率提升15%。

支持 Segment Compaction。在过去版本中,当用户大数据量高频导入时可能会遇到 -238 以及 -235 问题,Segment Compaction 允许在导入数据的同时进行数据的合并,以有效控制 Segment 文件的数量,提升高频导入的系统稳定性。

参考文档:https://doris.apache.org/docs/dev/advanced/best-practice/compaction

数据湖分析

Hive Catalog 支持访问 Hive 1/2/3 版本。参考文档:https://doris.apache.org/docs/dev/lakehouse/multi-catalog/hive/

Hive Catalog 可以使用 Broker 访问数据存储在 JuiceFS 的 Hive。参考文档:https://doris.apache.org/docs/dev/lakehouse/multi-catalog/iceberg

Iceberg Catalog 支持 Hive Metastore 和 Rest 作为元数据服务。参考文档:https://doris.apache.org/docs/dev/lakehouse/multi-catalog/iceberg

ES Catalog 支持 元数据字段 _id 列映射。参考文档:https://doris.apache.org/zh-CN/docs/dev/lakehouse/multi-catalog/es

优化 Iceberg V2 表有大量删除行诗时的读取性能。

支持读取 Schema Evolution 后 Iceberg 表。

Parquet Reader 正确处理列名大小写。

其他

支持访问 Hadoop KMS 加密的 HDFS 。

支持取消正在执行的导出任务。参考文档:https://doris.apache.org/docs/dev/sql-manual/sql-reference/Data-Manipulation-Statements/Manipulation/CANCEL-EXPORT

将explode_split 函数执行效率优化 1 倍。

将 nullable 列的读取性能优化 3 倍。

优化 Memtracker 的部分问题,提高内存管理精度,优化内存应用。

BugFix

修复了使用 Doris-Flink-Connectore 导入数据时的内存泄漏问题;

修复了 BE 可能的线程调度问题,并减少了 BE 线程耗尽导致的 Fragment_sent_timeout。

修复了 datetimev2/decivalv3 的部分正确性和精度问题。

修复了 Light Schema Change 功能的各种已知问题。

修复了 bitmap 类型 Runtime Filter 的各种数据正确性问题。

修复了 1.2.1 版本中引入的 CSV 读取性能差的问题。

修复了 Spark Load 数据下载阶段导致的 BE OOM 问题。

修复了从 1.1.x 版升级到 1.2.x 版时可能出现的元数据兼容性问题。

修复了创建 JDBC Catalog 时的元数据问题。

修复了由于导入操作导致的 CPU 使用率高的问题。

修复了大量失败 Broker Load 作业导致的 FE OOM 问题。

修复了加载浮点类型时精度丢失的问题。

修复了 Stream Load 使用两阶段提交时出现的内存泄漏问题。

其他

添加指标以查看 BE 上的 Rowset 和 Segment 总数量 doris_be_all_rowset_nums 和 doris_be_all_segment_nums

©著作权归作者所有,转载或内容合作请联系作者
  • 序言:七十年代末,一起剥皮案震惊了整个滨河市,随后出现的几起案子,更是在滨河造成了极大的恐慌,老刑警刘岩,带你破解...
    沈念sama阅读 215,634评论 6 497
  • 序言:滨河连续发生了三起死亡事件,死亡现场离奇诡异,居然都是意外死亡,警方通过查阅死者的电脑和手机,发现死者居然都...
    沈念sama阅读 91,951评论 3 391
  • 文/潘晓璐 我一进店门,熙熙楼的掌柜王于贵愁眉苦脸地迎上来,“玉大人,你说我怎么就摊上这事。” “怎么了?”我有些...
    开封第一讲书人阅读 161,427评论 0 351
  • 文/不坏的土叔 我叫张陵,是天一观的道长。 经常有香客问我,道长,这世上最难降的妖魔是什么? 我笑而不...
    开封第一讲书人阅读 57,770评论 1 290
  • 正文 为了忘掉前任,我火速办了婚礼,结果婚礼上,老公的妹妹穿的比我还像新娘。我一直安慰自己,他们只是感情好,可当我...
    茶点故事阅读 66,835评论 6 388
  • 文/花漫 我一把揭开白布。 她就那样静静地躺着,像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上,一...
    开封第一讲书人阅读 50,799评论 1 294
  • 那天,我揣着相机与录音,去河边找鬼。 笑死,一个胖子当着我的面吹牛,可吹牛的内容都是我干的。 我是一名探鬼主播,决...
    沈念sama阅读 39,768评论 3 416
  • 文/苍兰香墨 我猛地睁开眼,长吁一口气:“原来是场噩梦啊……” “哼!你这毒妇竟也来了?” 一声冷哼从身侧响起,我...
    开封第一讲书人阅读 38,544评论 0 271
  • 序言:老挝万荣一对情侣失踪,失踪者是张志新(化名)和其女友刘颖,没想到半个月后,有当地人在树林里发现了一具尸体,经...
    沈念sama阅读 44,979评论 1 308
  • 正文 独居荒郊野岭守林人离奇死亡,尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 37,271评论 2 331
  • 正文 我和宋清朗相恋三年,在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 39,427评论 1 345
  • 序言:一个原本活蹦乱跳的男人离奇死亡,死状恐怖,灵堂内的尸体忽然破棺而出,到底是诈尸还是另有隐情,我是刑警宁泽,带...
    沈念sama阅读 35,121评论 5 340
  • 正文 年R本政府宣布,位于F岛的核电站,受9级特大地震影响,放射性物质发生泄漏。R本人自食恶果不足惜,却给世界环境...
    茶点故事阅读 40,756评论 3 324
  • 文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹,春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 31,375评论 0 21
  • 文/苍兰香墨 我抬头看了看天上的太阳。三九已至,却和暖如春,着一层夹袄步出监牢的瞬间,已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 32,579评论 1 268
  • 我被黑心中介骗来泰国打工, 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留,地道东北人。 一个月前我还...
    沈念sama阅读 47,410评论 2 368
  • 正文 我出身青楼,却偏偏与公主长得像,于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子,可洞房花烛夜当晚...
    茶点故事阅读 44,315评论 2 352

推荐阅读更多精彩内容