Kafka 认证机制 自 0.9.0.0 版本开始，Kafka 正式引入了认证机制，用于实现基础的安全用户认证，这是将 Kafka 上云或进行多租户管理的必要步骤。截止到当前...
IP属地：新疆
-
Kafka 的认证机制 -
Flume Taildir Source源码修改---监听目录
一、需求 flume taildir源码只支持监控一级目录下的文件，能不能支持监听子目录下的所有文件flume版本:1.9.0 二、思路 源码中org.apache.flum...
-
CDH 6.3.1 rpm+http安装部署
一、准备工作 1.离线部署主要分为三块: a.MySQL离线部署 b.CM离线部署 c.Parcel⽂件离线源部署 2.规划 3.下载源 支持的版本：requirements...
-
Spark Streaming 状态管理算子的选择比较
一、updateStateByKey 官方原话: 也即是说它会统计全局的key的状态，就算没有数据输入，它也会在每一个批次的时候返回之前的key的状态 特点: 大数据量的时候...
-
Spark Streaming 从指定时间戳开始消费 kafka 数据
一、需求 从指定时间戳（比如 2 小时前）开始消费 Kafka 数据 二、思路 我们知道通过 Kafka 的 API 可以得到指定时间戳对应数据所在的 segment 的起始...
-
CDK &CDS 安装
一、下载安装包 http://archive.cloudera.com/kafka/parcels/4.1.0/ http://archive.cloudera.com/sp...
-
kafka单机安装部署
一、环境准备 kafka-2.2.1-kafka4.1.0.tar.gz 已经安装好zookeeper环境 kafka-eagle-bin-1.3.9.tar.gz 二、安装...
-
hadoop,spark中使用lzo
一、环境准备 hadoop-2.6.0-cdh5.15.1并支持压缩(参考:hadoop安装文档) lzo jar包(下载地址:lzo jar下载地址) lzo安装包(下载地...
-
Azkaban安装部署及使用一、介绍 Azkaban是LinkedIn开源的任务调度框架，类似于JavaEE中的JBPM和Activiti工作流框架.如ETL的过程，Sqoop在凌晨1点从RDBMS中抽...
-
-
Flume内部原理剖析一、概述 Flume将数据表示为事件，事件是非常简单的数据结构，具有一个主体和一个报头集合，事件的主体是一个字节数组，通常是是Flume传送过来的负载，抱头被标记为一个map...
-
Flume Sink处理器介绍 Sink运行器（Sink Runner）运行一个Sink组（Sink Group），Sink组可以含有一个或多个Sink。如果组中只存在一个Sink，那么没有组将会更有...
-
flume安装及使用
一、下载安装包并解压 下载地址:http://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.15.1.tar.gz解...
-
windows 提交mapreduce程序到yarn上执行一、配置 可能会出现没有权限写hdfs的/tmp路径,需要设置环境变量HADOOP_USER_NMAE=hadoop(hadoop是我的超级用户) 二、结果展示
-
设计模式之简单工厂模式
一、需求 用任意一种面向对象语言实现一个计算器控制台程序，要求输入两个数和运算符号，等到结果。 二、实现 程序入口 操作父类 操作子类 操作工产类 三、详解 面向对象编程通过...
-
MapReduce：详细介绍Shuffle的执行流程一、Shuffle描述 Shuffle的正常意思是洗牌或弄乱，可能大家更熟悉的是Java API里的Collections.shuffle(List)方法，它会随机地打乱参数...
-
Hadoop wordcount作业提交流程源码分析
一、概括: wordcount作业提交流程,主要集中在JobSubmitter.submitJobInternal中，包括检测输出目录合法性，设置作业提交信息（主机和用户），...
-
