240 发简信
IP属地:上海
  • 该如何设计数仓的汇总层(DWS)

    关于数据仓库的分层,似乎大家都有一个共同的认识。但涉及到每一层该如何去建模,可能每个人都有自己的理解。数据建模,毫无疑问是数仓建设的重中之重,然...

    1.1 5890 0 11
  • 实时数仓|以upsert的方式读写Kafka数据——以Flink1.12为例

    在某些场景中,比如GROUP BY聚合之后的结果,需要去更新之前的结果值。这个时候,需要将 Kafka 消息记录的 key 当成主键处理,用来确...

  • Flink on Hive构建流批一体数仓

    Flink使用HiveCatalog可以通过批或者流的方式来处理Hive中的表。这就意味着Flink既可以作为Hive的一个批处理引擎,也可以通...

  • Flink集成Hive之Hive Catalog与Hive Dialect--以Flink1.12

    在上一篇分享Flink集成Hive之快速入门--以Flink1.12为例[https://mp.weixin.qq.com/s/99ehmNzJ...

  • Flink集成Hive之快速入门--以Flink1.12为例

    使用Hive构建数据仓库已经成为了比较普遍的一种解决方案。目前,一些比较常见的大数据处理引擎,都无一例外兼容Hive。Flink从1.9开始支持...

  • 数仓开发需要了解的5大SQL分析函数

    基本语法 analytic_function_name: 函数名称 — 比如 RANK(), SUM(), FIRST()等等 partitio...

  • Resize,w 360,h 240
    第十一篇|基于SparkSQL的电影分析项目实战

    在之前的分享中,曾系统地介绍了Spark的基本原理和使用方式,感兴趣的可以翻看之前的分享文章。在本篇分享中,将介绍一个完整的项目案例,该案例会真...

  • 篇五|ClickHouse数据导入(Flink、Spark、Kafka、MySQL、Hive)

    本文分享主要是ClickHouse的数据导入方式,本文主要介绍如何使用Flink、Spark、Kafka、MySQL、Hive将数据导入Clic...

  • Resize,w 360,h 240
    篇四|ClickHouse的可视化界面与集群状态监控

    介绍 tabix支持通过浏览器直接连接 ClickHouse,不需要安装其他软件,就可以访问ClickHouse,具有以下特点: ⾼亮语法的编辑...

个人介绍
关注公众号「大数据技术与数仓」
回复【资料】领取大数据视频与书籍