240 发简信
IP属地:北京
  • 浅议Flink lib包下的依赖项

    要开始一个 Flink 作业,通常需要如下依赖项:

  • 120
    Flink如何基于数据版本使用最新离线数据

    业务场景 假设批量有一张商户表,表字段中有商户名称和商户分类两个字段。 批量需要将最新的商户名称和分类的映射关系推到hbase供实时使用。 原实现方案 a. 原方案内容 为解...

  • 120
    杂谈:《运营之光》读后感

    近日阅读了黄有璨老师的《运营之光》,读下来感觉运营这个岗位也是不甚容易,对运营同学的工作有了些模糊的认识。现摘录书中部分印象深刻的片段,以便再回顾。 运营与其他岗位的区别 运...

  • 120
    浅议Flink中的通讯工具: Akka

    在Flink中,各个组件之间需要频繁交换数据和控制信息。Flink选择了基于Actor模型的Akka框架作为通信基础。 Akka是什么 Actor模型 Actor模型是用于单...

  • 120
    杂谈:业务说的场景金融是什么?

    引言:市场格局的转变 在供应短缺的年代,是典型的卖方市场。为了保证稳定供货,买方会提前一段时间下单,也几乎没什么议价能力。卖方只需等着接单就行。 现在很多领域的供应商数量越来...

  • 实时离线融合计算的数据同步实践

    实时批量融合计算时,一般需要批量将数据推送到hbase供实时使用。 本文将通过两个典型场景--累计场景与最新分区场景,讨论批量和实时衔接的设计方案,解决批量延迟可能导致的问题...

  • 120
    初探Flink的序列化

    Flink中的序列化应用场景 程序通常使用(至少)两种不同的数据表示形式[2]:

  • 120
    flink类型系统TypeIinformation

    DataType DataType:flink table的基本数据类型其子类继承关系: 其中将java的基本数据类型和基本数据类型的装箱数据类型统一划分原子类型。table...

  • 120
    布隆过滤器:极简存储,高效检索

    引言 在海量数据的存储与检索中,如何在保持快速检索的同时,降低内存占用是个巨大的挑战。有没有一种既能快速检索又能节省内存的方案?布隆过滤器(Bloom Filter)就是这样...

  • 数据波动中的阈值设定:绝对值or百分比

    问题背景 在数据监控领域,数据质量决定了数据的可用性。然而频繁的数据质量问题源于多种诱因。 一般我们需要及时配置好监控,以便能在第一时间检测到异常,快速响应。 数据监控中,表...

  • 120
    理解位运算:一个营销活动的实例

    一、场景假设 某天,业务人员发来一个任务: 设计一个可以灵活配置的营销活动,具体有三种达标规则: 规则A :今日消费单笔满20元 规则B :今日在合作商户有一笔消费 规则C:...

  • 120
    杂谈:支付领域管中窥豹

    支付已经成为我们日常生活中不可或缺的一部分,每一次买买买都离不开它。 本文将简要介绍国内支付体系,以便对其有一个基本的了解。 一、国内支付体系 1.现代化支付系统 支付主要是...

  • 120
    杂谈:简易的信用卡交易支付流程

    现在信用卡已成为一种普遍的支付方式。 信用卡支付涉及将资金从买方的银行账户转移到卖方的银行账户。 本文将基于常见的四方模式(即持卡人、发卡行、商户、收单行 四方)详细介绍一下...

  • 120
    浅议Kafka中消息大小的设置

    一、问题背景 使用 Kafka Producer 向指定 Topic 发送消息时,默认的消息大小限制为 1M。如果消息过大,需要调整哪些参数来实现消息的成功发送? 首先,我们...

  • 120
    浅议Flink中算子间的八种数据传输策略

    一、知识铺垫 a. Flink数据传输分类 Flink数据传输分为 组件之间的通信消息传输 和 算子之间的流数据传输。 (1)组件之间 组件(即Client、JobManag...

个人介绍
公中号:大数据咖啡屋