240 发简信
IP属地:广东
  • 120
    kafka学习笔记

    版本选择 0.7版本:只有基础消息队列功能,无副本;打死也不使用 0.8版本:增加了副本机制,新的producer API;建议使用0.8.2.2版本;不建议使用0.8.2....

  • 120
    Flink实现Kafka到Mysql的Exactly-Once

    Flink实现Kafka到Mysql的Exactly-Once 背景 最近项目中使用Flink消费kafka消息,并将消费的消息存储到mysql中,看似一个很简单的需求,在网...

  • 我测试过 jvm回调钩子对kill -9 这种命令不生效

    【实战篇】如何优雅的停止你的 Spark Streaming Application

    Spark 1.3及其前的版本 你的一个 spark streaming application 已经好好运行了一段时间了,这个时候你因为某种原因要停止它。你应该怎么做?直接...

  • 120
    使用 Prometheus 和 Grafana 监控 Spark 应用

    背景 每个开发者都想了解自己任务运行时的状态,便于调优及排错,Spark 提供的 webui 已经提供了很多信息,用户可以从上面了解到任务的 shuffle,任务运行等信息,...