发简信
IP属地：湖南
-
flume 自定义kafka sink运行失败：找不到Callback官网和github上都提供了source包，借助提供的kafkasink代码，在其中增加分区逻辑，实现flume读取日志并按特定规则输入到kaf...
-
Mapreduce 优化策略
优化策略 优化Map和Reducer数量。 输入，大文件优于小文件。 减少网络传输（尤其是shuffle阶段）：压缩或combiner 设置相关...
-
Mapreduce shuffle简单过程
shuffle（洗牌）把mapper阶段的结果拷贝到reducer阶段分为两部分，mapshuffle,reduceshuffle mapshu...
-
MapReduce setup()和cleanup()方法
setup()此方法被MapReduce框架仅且执行一次，在执行Map任务前，进行相关变量或者资源的集中初始化工作。若是将资源初始化工作放在方法...