240 发简信
IP属地:四川
  • Spark Streaming 从指定时间戳开始消费 kafka 数据

    一、需求 从指定时间戳(比如 2 小时前)开始消费 Kafka 数据 二、思路 我们知道通过 Kafka 的 API 可以得到指定时间戳对应数据所在的 segment 的起始...

  • 120
    Flink任务物理内存溢出问题定位

    问题现象 一个使用10秒滚动窗口的任务在平稳运行一段时间之后出现了频繁的重启。在TaskManager日志中能看到以下文本: 原因定位 首先可以看到是YarnTaskExec...