重磅发布|AutoMQ 1.5.0开源版正式发布:构建 kafka 实时数据湖新范式!
引领云原生创新之路
AutoMQ 开源版本 1.5.0 正式发布
实时数据湖,为何成为数据架构的下一个风口?
随着数据实时化趋势席卷全球,“实时数据湖”(Streaming Lakehouse)正迅速成为云计算与大数据领域最受关注的技术方向。Snowflake、Databricks、Confluent、AWS 等云厂商纷纷推出相关方案,希望打通从数据采集、处理到分析的一体化链路,构建下一代数据基础设施。
实时数据湖是一种支持数据实时写入与即时分析的新型架构,将流式数据直接接入数据湖,实现低延迟、低成本的数据处理与消费。相比传统的数据湖与数据仓库分离架构,实时数据湖融合了数据湖的弹性与数据仓的实时性,具备以下优势:
无需复杂 ETL 作业,数据可从 Kafka 等流引擎直接写入湖中
延迟更低,支持秒级甚至毫秒级分析查询
架构更简,避免 Flink/Spark 频繁调度与维护开销
一致性强,能与主业务系统保持 Schema 与数据同步
在这场变革中,Kafka 被视为实时数据的入口,但其本身并不具备“入湖”能力。为此,AutoMQ 在最新发布的 1.5.0 开源版本中推出了重磅特性——Table Topic:
通过将 Kafka Topic 与 Iceberg表原生绑定,实现真正意义上的 Zero-ETL 流式入湖,让 Kafka 成为实时数据湖的核心引擎。
这也意味着,开发者可以用最少的工具链、最少的运维成本,搭建出真正实时、开放、低成本的 Lakehouse 架构。
一站式云原生 Kafka:开源、可控、零 ETL
AutoMQ 开源版本 1.5.0 正式发布!作为首个运行于 Amazon S3 的开源 Kafka 发行版,本次版本不仅全面强化了 “云原生、低成本、强可控” 的核心能力,更以创新特性 Table Topic 正式加入实时数据湖阵营,为企业构建 Zero-ETL 流式入湖能力提供了真正可用、可控、开放的开源方案。
AutoMQ 基于 Apache 2.0 协议完全开源,无需商业授权即可在生产环境运行,100% 兼容 Kafka 协议,支持现有工具链无缝迁移,是真正面向未来的数据基础设施构建工具。
本次版本重点包括:
- Table Topic:Kafka 与 Iceberg 表的原生绑定,真正实现 Zero-ETL 流式入湖
- 零跨 AZ 架构:全面消除跨可用区流量,Kafka 云上成本可降低高达 70%
- 支持 Bitnami Helm Chart:一键部署至 Kubernetes,轻松搭建云原生 Kafka 集群
通过持续深化开源能力,AutoMQ 正在让云上 Kafka 更轻、更强、更开放。
01 零 ETL,Kafka 秒变 Iceberg 表
数据平台构建中,如何将 Kafka 实时数据写入数据湖 Iceberg,一直是工程难题。传统做法需依赖 Spark、Flink 等复杂 ETL 作业,不仅成本高,还带来延迟、失败率、Schema 演化等问题。
AutoMQ 提出的 Table Topic 是一种全新机制——将 Kafka Topic 原生绑定至 Iceberg 表,无需任何中间件或外部任务,实现 Kafka 到 Iceberg 的零 ETL 流式写入:
- 单配置即可启动,自动完成 Schema 注册、演化、字段映射与 Upsert
- 支持 GiB/s 级别的实时写入
- 完整保留 Kafka 流特性,适用于 CDC、审计日志、实时分析等场景
Kafka 不再只是消息通道,而是直接成为湖仓的实时数据源。这意味着你可以用最简化的架构,构建出高效、实时、低成本的数据系统。
📖 推荐阅读下方相关文章,了解更多技术细节:为什么越来越多企业放弃 Flink/Spark,用 AutoMQ 替代传统 ETL?
02 零跨区流量,Kafka 云上运行也能不“烧钱”
云上 Kafka 最大的隐形成本就是跨 AZ 流量。据统计,在三可用区部署的 Kafka 集群中,跨区数据传输费用可占总云成本的 50% ,其中包括副本同步、消费者拉取和跨区 Produce 请求等高频操作。
AutoMQ 通过基于 S3 的共享存储架构,彻底移除了生产、复制、消费路径中的跨区流量,实现真正意义上的跨 AZ 流量归零:
- 生产路径:通过智能代理和跨区代理通道,实现跨 AZ Produce 请求的就近接入
- 复制路径:使用 S3 + 奇偶校验代替传统 Broker 间复制,完全消除复制带宽开销
- 消费路径:每个 AZ 提供只读分区,消费者本地读取,无需跨区读流
成本对比
AutoMQ vs Apache Kafka 在 多 AZ 场景下 30MiB/s 写入吞吐的成本对比
以典型 30MiB/s 写入负载为例,Kafka 每月跨 AZ 成本可达 158 的 S3 存储与 API 成本,节省超 95% 的流量费用。
这一创新架构显著提升可扩展性和稳定性,同时降低运维复杂度,真正实现 Kafka 在云上的“降本增效”,是企业级 Kafka 云部署的理想方案。
03 一键部署 Kafka?AutoMQ × Bitnami 让它变简单了!
AutoMQ 1.5.0 现已原生支持 Bitnami Helm Charts,用户可零门槛接入 AutoMQ,在 Kubernetes 中通过熟悉的 Helm 流程实现一键部署,无需额外修改配置或编写 Operator 脚本,即可运行一个无状态、弹性伸缩、S3 原生存储的 Kafka 集群。
这一集成为用户带来了更高的部署效率和更低的学习成本,特别适合希望快速在生产环境中验证或上线 Kafka 流处理平台的技术团队。
💡 适用于:
- AWS EKS、Google GKE、Azure AKS、阿里云 ACK、腾讯云 TKE 等主流云平台
- 私有化部署与混合云场景
- 从 Apache Kafka 平滑迁移至 AutoMQ 的替代方案
无论你是 DevOps 工程师、平台架构师,还是正在寻找开源替代方案的技术负责人,AutoMQ 与 Bitnami 的结合,都能为你提供稳定、标准化的部署体验,并显著降低维护复杂度。
AutoMQ:开源、自主、真正云原生的 Kafka
自开源以来,AutoMQ 已获得众多云原生团队与企业技术负责人认可,并在多种生产环境中成功验证。如今,越来越多公司选择与我们合作,拥抱 Kafka 的云原生未来。
AutoMQ 完全开源,免费可用,无需修改原有工具链,即可替代传统 Kafka 集群部署。
👉 下方一键快速部署指南 | 快速启动你的云原生 Kafka 之旅!