240 发简信
ZYvette
IP属地：北京
  • Resize,w 360,h 240
    索引之LSM——compaction分类

    为什么需要compaction? LSM是一个顺序存储的结构，而且删除，修改都是追加方式存储，所以需要定时合并以减少数据冗余。 compacti...

    0.1 325 0 1
  • Resize,w 360,h 240
    watermark原理之watermark的下发

    watermark 如何下发的? 一、 数据读取 A. AbstractStreamTaskNetworkInput：该类是用于读取上游数据 ...

    0.1 720 4 1
  • Resize,w 360,h 240
    flink checkpoint与statebackend关系

    介绍 什么是statebackend? statebackend是用于存储state的状态后端，StateBackend 默认是保存在 JobM...

    1231 0 0
  • flink 问题总结（15）Triggering a savepoint for the job failed.java.util.concurrent.TimeoutException

    背景： bin/flink savepoint 162f59ee8c59f1617a1cf638e3640858 --target kubern...

    2123 0 0
  • flink 问题总结（14）"flink-**-cluster-resourcemanager-leader" is forbidden: User "system:serviceaccount...

    背景 flink 1.12.2版本，session模式，配置高可用，使用的是k8s高可用。报错内容如下： "flink-**-cluster-r...

    1082 0 0
  • Resize,w 360,h 240
    storm 问题总结

    问题1： host没同步，机器之间通信有问题 解决办法：同步hosts即可 问题2： zk连接数限制 任务跑了一段时间之后就开始背压，而且sup...

    438 0 0
  • Resize,w 360,h 240
    Hbase 读取流程

    Hbase 读取复杂原因： 主要基于两个方面的原因： 一是因为HBase一次范围查询可能会涉及多个Region、多块缓存甚至多个数据存储文件（H...

    0.3 1888 1 2
  • BlockCache

    提升读取性能方法：热点数据存储到内存中，以避免昂贵的IO开销。 HBase也实现了一种读缓存结构——BlockCache。客户端读取某个Bloc...

    986 0 0
  • Resize,w 360,h 240
    数据技术篇

    大数据阶段 数据采集层（1）数据库同步（DataX/同步中心）（2）消息中间件（离线、实时） 数据计算层 数据服务层 数据应用层 一. 日志收集...

    1.5 2161 0 16
暂无个人介绍