大数据技术与应用实战

背景及痛点[#%E8%83%8C%E6%99%AF%E5%8F%8A%E7%97%9B%E7%82%B9]业务背景[#%E4%B8%9A%E5%8A%A1%E8%83%8C%...

大数据技术与应用实战

背景 随着大数据处理结果的实时性要求越来越高，越来越多的大数据处理从离线转到了实时，其中以flink为主的实时计算在大数据处理中占有重要地位。 Flink消费kafka等实时...

大数据技术与应用实战

前言 flink消费cdc数据canal formatdebezium formatCanalJson反序列化源码解析 flink cdc connector背景mysql-...

大数据技术与应用实战

背景 自定义聚合函数 实例讲解 背景 在网站性能测试中，我们经常会选择 TP50、TP95 或者 TP99 等作为性能指标。接下来我们讲讲这些指标的含义、以及在flink中如...

大数据技术与应用实战

CDC简介 Canal CanalJson反序列化源码解析 CDC简介 CDC,Change Data Capture,变更数据获取的简称，使用CDC我们可以从数据库中获取已...

大数据技术与应用实战

使用 示例 源码解析创建TableSource数据生成器DataGeneratorDataGenTableSource 使用 在flink 1.11中，内置提供了一个Data...

大数据技术与应用实战

前言 数据流处理hive基本信息获取流、批判断写入格式判断构造分区提交算子 详解StreamingFileWriter 简述StreamingFileSink 分区信息提交提...

大数据技术与应用实战

在大数据处理领域，数据倾斜是一个非常常见的问题，今天我们就简单讲讲在flink中如何处理流式数据倾斜问题。 我们先来看一个可能产生数据倾斜的sql. 在这个sql里，我们统计...

大数据技术与应用实战

@LittleMagic 嗯，其实我想看一下hudi是怎么做的，但是一直没时间研究。

Flink SQL FileSystem Connector分区提交与自定义小文件合并策略

本文已授权「Flink中文社区」微信公众号发布并标注原创。 Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQ...

LittleMagic

6316 22 49

大数据技术与应用实战

楼主，想请问几个问题：
1.在合并的时候，如何保证事务，也就是合并的同时读取数据不发生脏读。
2.如何保证事务的完整性呢，如果因为各种原因导致失败了，怎么回滚呢？

Flink SQL FileSystem Connector分区提交与自定义小文件合并策略

本文已授权「Flink中文社区」微信公众号发布并标注原创。 Prologue 之前笔者在介绍Flink 1.11 Hive Streaming新特性时提到过，Flink SQ...

LittleMagic

6316 22 49

大数据技术与应用实战

modules概念 通过hive module使用hive函数内置函数自定义函数 sql 客户端的使用 原理分析和源码解析实现 modules概念 flink 提供了一个mo...

大数据技术与应用实战

背景 实例讲解引入pom构造数据源构造redis配置实现RedisMapper 动态生成key 背景 redis作为一个高吞吐的存储系统，在生产中有着广泛的应用，今天我们主要...

大数据技术与应用实战

背景 示例 源码解析AbstractJdbcCatalogPostgresCatalog 背景 1.11.0 之前，用户如果依赖 Flink 的 source/sink 读写...

大数据技术与应用实战

背景zeppelin不提供per job模式实时平台开发周期长 基于zeppelin开发一个简易实时平台 开发zeppelin Interpreter提交sql任务提交jar...