发简信
IP属地：香港
-
spark.streaming.kafka.maxRatePerPartition
spark.streaming.kafka.maxRatePerPartition计算规则2018年08月03日 11:59:11genius0...
-
Log4j、Flume、kafka和spark streaming时时日志处理本次实战flume是1.7版本，kafka是0.10，spark streaming是2.2.0版本 第一步：flume=》kafka，...
-
Flume入门（sink配置kafka）环境分析：上一节我们的服务日志最终用logger打印，这个只是一个测试，生成环境不能这样使用，那么生产环境一般会把日志保存在hdfs中或通过ka...
-
flume入门二（监控日志实时采集新增）我们的日志基本是从web服务中采集，那么flume有好的配置，接下来我将分别演示单台和多台聚合例子。 一、单台flum 对于实时的日志f...
-
flume入门一（监控某个端口发出的数据）
flume是我们目前日志收集聚合的重要框架，个人觉得他的入门还是比较容易的，基本的功能可以配置一下文件即可使用，因此对他进行了简单的netcat...
-
spark的sortbykey的二次排序
基本思路是自定义一个sortbykey的类，然后是使用map转换，其中key为该对象即可，最后调用算子sortbykey，基本实现如下： 1、自...
-
IntelliJ IDEA给指定Class打成jar包虽然是一个简单的功能，但是可能我的是多模块原因还是出现了几次打包错误，未找到class的main的方法，最终多次查找终于成功。 首先来...