关于数据仓库的分层，似乎大家都有一个共同的认识。但涉及到每一层该如何去建模，可能每个人都有自己的理解。数据建模，毫无疑问是数仓建设的重中之重，然后，在实际的开发过程中，会把大...
发简信
IP属地：上海
-
该如何设计数仓的汇总层(DWS)
-
实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例
在某些场景中，比如GROUP BY聚合之后的结果，需要去更新之前的结果值。这个时候，需要将 Kafka 消息记录的 key 当成主键处理，用来确定一条数据是应该作为插入、删除...
-
Flink on Hive构建流批一体数仓
Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎，也可以通过流处理的方式来读写Hive中...
-
Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12
在上一篇分享Flink集成Hive之快速入门--以Flink1.12为例[https://mp.weixin.qq.com/s/99ehmNzJVwW3cOrw_UkGsg]...
-
Flink集成Hive之快速入门--以Flink1.12为例
使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前，一些比较常见的大数据处理引擎，都无一例外兼容Hive。Flink从1.9开始支持集成Hive，不过1.9版本为...
-
数仓开发需要了解的5大SQL分析函数
基本语法 analytic_function_name: 函数名称 — 比如 RANK(), SUM(), FIRST()等等 partition_expression: 分...
-
第十一篇|基于SparkSQL的电影分析项目实战在之前的分享中，曾系统地介绍了Spark的基本原理和使用方式，感兴趣的可以翻看之前的分享文章。在本篇分享中，将介绍一个完整的项目案例，该案例会真实还原企业中SparkSQL的...
-
篇五|ClickHouse数据导入(Flink、Spark、Kafka、MySQL、Hive)
本文分享主要是ClickHouse的数据导入方式，本文主要介绍如何使用Flink、Spark、Kafka、MySQL、Hive将数据导入ClickHouse，具体内容包括： ...
-
篇四|ClickHouse的可视化界面与集群状态监控介绍 tabix支持通过浏览器直接连接 ClickHouse，不需要安装其他软件，就可以访问ClickHouse，具有以下特点： ⾼亮语法的编辑器。 ⾃动命令补全。 查询命令...
-
第十篇SparkStreaming手动维护Kafka Offset的几种方式
Spark Streaming No Receivers 方式的createDirectStream 方法不使用接收器，而是创建输入流直接从Kafka 集群节点拉取消息。输入...
-
第九篇|Spark的五种JOIN策略解析JOIN操作是非常常见的数据处理操作，Spark作为一个统一的大数据处理引擎，提供了非常丰富的JOIN场景。本文分享将介绍Spark所提供的5种JOIN策略，希望对你有所帮助...
-
第八篇|Spark SQL百万级数据批量读写入MySQL
Spark SQL读取MySQL的方式 Spark SQL还包括一个可以使用JDBC从其他数据库读取数据的数据源。与使用JdbcRDD相比，应优先使用此功能。这是因为结果作为...
-
篇三|ClickHouse的数据类型
ClickHouse提供了许多数据类型，它们可以划分为基础类型、复合类型和特殊类型。我们可以在system.data_type_families表中检查数据类型名称以及是否区...
-
篇二|什么是ClickHouse的表引擎?在上一篇分享中，我们介绍了ClickHouse的安装部署和简单使用。本文将介绍ClickHouse中一个非常重要的概念—表引擎(table engine)。如果对MySQL熟...
-
篇一|ClickHouse快速入门
ClickHouse简介 ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。ClickHouse最初是一款名为Yandex.Metrica的...
-
Hive SQL使用过程中的奇怪现象
hive是基于Hadoop的一个数据仓库工具，用来进行数据的ETL，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive能将结构化的数据文件映射为一张...
-
面试|Kafka常见面试问题总结
现如今，Kafka已不再是一个单纯的消息队列系统。Kafka是一个分布式的流处理平台，被越来越多的公司使用，Kafka可以被用于高性能的数据管道，流处理分析，数据集成等场景。...
-
@琰_8eab 可以访问的，博客托管在了GitHub上，有时候加载速度会很慢
Flink1.11中的CDC Connectors操作实践
Flink1.11引入了CDC的connector，通过这种方式可以很方便地捕获变化的数据，大大简化了数据处理的流程。Flink1.11的CDC connector主要包括：...
-
项目实践|基于Flink的用户行为日志分析系统用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整...
-
元数据管理|Hive Hooks和Metastore监听器介绍元数据管理是数据仓库的核心，它不仅定义了数据仓库有什么，还指明了数据仓库中数据的内容和位置，刻画了数据的提取和转换规则，存储了与数据仓库主题有关的各种商业信息。本文主要介绍H...