<meta charset="utf-8"> **# 脉冲星 7 月脉动
本月看点速览
产品动态
Pulsar 2.5.0 版本预览
社区动态
Apache Pulsar Meetup (北京,报名中)
CSDI Summit
中英文技术博客
产品动态
整个 7 月,2.5.0 版本的开发在紧张有序地进行,以下是本月添加的主要功能预览。
在分层存储中支持 HDFS
Pulsar 以分片为中心的架构使其可以高效存储无限的数据。为了避免数据在 bookie 中堆积导致成本过高,Pulsar 支持将分片转移到更为廉价的存储中:例如之前的 AWS S3、Google Cloud Storage,以及最新加入的 HDFS。
通过在配置文件中指定 HDFS 相关的 defaultFS
、路径、压缩方式等相关参数,你可以自动或者手动将 topic 中的数据以分片粒度卸载到 HDFS 中。
更多信息,参阅 PR-4403。
在 Pulsar IO 的 JDBC Sink 中支持 Update 和 Delete 事件
Pulsar IO 是将外部系统的数据输入到 Pulsar(Source)、或是将 Pulsar 数据写出到外部系统(Sink)的连接器。在 JDBC Sink 中支持了 Update 和 Delete 事件后,Pulsar topic 中的 Update 和 Delete 被翻译成相应的 DML,反应到 Pulsar Sink 的目标数据库中。
更多信息,参阅 PR-4358。
PIP-31:事务支持
Pulsar 保证消息分发的最高机制是 exactly-once
,通过 Idempotent Producer 保证了一个分区内的消息只会被持久化一次,而不会丢失,但对多分区的生产者生产的消息没有原子性保证。在 Pulsar Functions 中只保证了一个事件的 exactly-once
,但并不保证在处理多个事件或生产多个结果时事件的准确。事务消息语义简化了 Pulsar 或 Pulsar Functions 的使用,同时扩大了 Pulsar 的领域。目前已经有一些 commits 合并到主分支,将会在 2.5.0 版本支持事务。
更多信息,参阅 PIP-31。
Schema 相关 BUG 修复
Pulsar 提供了对 Schema 的内置支持,允许用户直接读取、写入有类型的消息,Pulsar 负责消息的兼容性验证以及序列化、反序列化工作。7 月修复的问题有:已删除的 Schema 对兼容性检查的影响、已删除的 Schema 对新建 Schema 的影响和无法在分区级别获取 topic schema。
更多信息,参阅 PR-4469,PR-4751 和PR-4731。
支持创建单分区的分区主题
Pulsar 支持两种类型的主题:非分区主题和分区主题。之前创建分区主题的最小分区数是2,现在你可以先创建一个单分区的分区主题,随后根据需要调整主题的分区数。
更多信息,参阅 PR-4764。
文档改进
Pulsar 官网文档是理解 Pulsar 基本概念,了解 Pulsar 配置方式的最好去处。7月,官网文档集中在 Pulsar Functions、Pulsar Schema 和 Pulsar 升级方案三个方面进行了改进。
更多信息,参阅
Pulsar Functions
Improve Functions structure: Issue-4554
Functions overview: PR-4598
Functions develop: PR-4725
Functions debug: PR-4729
Functions deploy: PR-4820
Functions API examples: PR-4827
Functions thread/process modes: PR-4828
Schema
Structure of Schema Doc: Issue-4789
Get Started: PR-4759
Understand Schema: PR-4786
Schema Evolution and Compatibility: PR-4841
Manage Schema: PR-4845
Upgrade
社区动态
Apache Pulsar Meetup | 北京站(报名中)
2019 年 7 月,StreamNative 联合 Apache Pulsar、Apache Flink 两大社区,联合 Yahoo!Japan、腾讯、智联招聘和 EMQ 在北京积极筹备一场大型 Pulsar 专场活动。
活动详情,查看 Apache Pulsar Meetup 邀请函。
CSDI Summit
2019 年 7 月 19 ~21 日,为期三天的 CSDI 峰会(中国软件研发管理行业技术峰会)在深圳如期举办,StreamNative 联合创始人郭斯杰受邀在“云原生/Web 架构”会场做了”云原生消息系统 Apache Pulsar 简介”的主题演讲。
更多信息,参阅 CSDI Summit。
技术干货
本月发布了以下中英文技术博客:
Build a Priority-based Push Notification System Using Apache Pulsar at GeTui
Apache Pulsar as One Storage System for Both Real-time and Historical Data Analysis
点击“阅读原文”,报名参加 Pulsar Meetup(北京站)