Flink on yarn部署模式 背景 Flink是一个高性能，高吞吐，低延迟的流处理框架。它不仅仅是作为一个流式处理框架，更将批处理统一了起来（在Flink中，批处理是流...
发简信
IP属地：吉林
-
Flink on yarn部署模式 -
SparkStreaming如何优雅的停止服务
我们都知道SparkStreaming程序是一个长服务，一旦运转起来不会轻易停掉，那么如果我们想要停掉正在运行的程序应该怎么做呢？如果运行的是spark on yarn模式直...
-
SparkStreaming入门教程(四)有状态和无状态的转化操作
本文全部手写原创，请勿复制粘贴、转载请注明出处，谢谢配合！ Dstream的转化操作分为无状态的(stateless)和有状态的(stateful)无状态转化：每个批次处理都...
-
（十一）SparkStreaming数据零丢失--使用jdbc存储offset
1.MySQL创建存储offset的表格 2. Maven依赖包 3. 处理思路 1）StreamingContext2）从kafka中获取数据(从外部存储获取offset-...
-
Flink 写入数据到 KafkaFlink 写入数据到Kafka 前言 通过Flink官网可以看到Flink里面就默认支持了不少sink，比如也支持Kafka sink connector（FlinkKaf...
-
多研究些架构，少谈些框架——一名阿里架构师的微服务笔记
微服务架构和SOA区别 微服务现在辣么火，业界流行的对比的却都是所谓的Monolithic单体应用，而大量的系统在十几年前都是已经是分布式系统了，那么微服务作为新的理念和原来...
